Context Window dan Batas Ingatan Model Bahasa

Model bahasa besar tidak punya ingatan tanpa batas. Setiap kali kamu mengirim pesan, model hanya bisa melihat sejumlah teks terbatas, dan batas itulah yang disebut context window. Memahami batas ini menjelaskan kenapa percakapan panjang bisa terasa "lupa" dan kenapa memasukkan dokumen tebal membuat jawaban datang lebih lambat.

Apa itu context window

Context window adalah jumlah maksimum token yang bisa diproses model dalam satu waktu. Menurut Wikipedia, istilah ini merujuk pada banyaknya token yang dapat dilihat model saat menghasilkan keluaran, mencakup instruksi, riwayat percakapan, dokumen yang kamu tempel, dan jawaban yang sedang disusun. Token sendiri bukan kata utuh, melainkan potongan teks yang bisa lebih pendek atau lebih panjang dari satu kata.

Penting dipahami bahwa jendela ini bekerja seperti sorotan lampu, bukan lemari arsip. Model tidak menyimpan seluruh isi percakapan di kepalanya. Setiap kali dia menjawab, dia hanya membaca ulang teks yang saat itu berada di dalam jendela. Apa pun yang berada di luar jendela tidak ikut dipertimbangkan, seolah tidak pernah ada.

Jendela ini juga menampung keluaran, bukan hanya masukan. Kalau model menghasilkan jawaban panjang, token jawaban itu ikut mengurangi ruang yang tersisa untuk pertukaran berikutnya. Karena itu, jendela konteks sebaiknya dipahami sebagai anggaran bersama antara teks yang kamu kirim dan teks yang dihasilkan model.

Kenapa ada batas

Batas ini bukan sekadar keputusan bisnis, melainkan konsekuensi arsitektur. Model bahasa besar modern dibangun di atas arsitektur transformer, dan mekanisme intinya, attention, membandingkan setiap token dengan token lain dalam urutan. Semakin panjang urutannya, semakin banyak pasangan token yang harus dibandingkan, dan biaya komputasi ini tumbuh jauh lebih cepat daripada panjang teksnya.

Artikel Wikipedia tentang large language model menjelaskan bahwa biaya attention membesar secara kuadratik terhadap panjang sekuens. Artinya, menggandakan panjang konteks bisa melipatgandakan beban hitung lebih dari dua kali. Ditambah kebutuhan memori untuk menyimpan representasi tiap token, batas praktis pun muncul dari keterbatasan perangkat keras, bukan hanya dari desain model.

Angka konteks dalam praktik

Laporan teknis GPT-4 dari OpenAI mendokumentasikan model dengan jendela konteks yang berbeda, termasuk varian dengan konteks 8.192 token dan 32.768 token. Angka ini menunjukkan bahwa panjang konteks adalah pilihan rekayasa, bukan satu angka tunggal. Model yang lebih baru umumnya menawarkan jendela lebih besar, tetapi prinsipnya tetap: ada langit-langit yang tidak bisa dilampaui dalam satu kali pemrosesan.

Apa yang terjadi saat konteks penuh

Ketika teks yang masuk melebihi kapasitas, sistem harus membuang sesuatu. Ada beberapa strategi umum yang dipakai.

Strategi	Cara kerja	Efek
Truncation	Memotong bagian awal atau akhir teks	Konteks paling lama bisa hilang
Sliding window	Menggeser jendela dan membuang token tertua	Percakapan bisa lupa bagian awal
Ringkasan	Meringkas riwayat lama	Hemat ruang, tapi detail bisa kabur
Retrieval	Mengambil hanya bagian yang relevan	Cocok untuk kumpulan dokumen besar

Aturan yang paling sering dipakai adalah jendela geser. Saat token baru masuk, token tertua dibuang agar tetap muat. Itulah sebabnya dalam percakapan panjang model bisa lupa nama yang kamu sebut di awal. Informasi itu tidak hilang karena kesalahan, melainkan karena sudah terdorong keluar dari jendela.

Panjang konteks, kecepatan, dan biaya

Panjang konteks berhubungan langsung dengan dua hal yang kamu rasakan: kecepatan dan biaya. Karena beban attention tumbuh cepat, memproses teks yang lebih panjang butuh lebih banyak waktu hitung. Waktu tunggu sebelum token pertama muncul bisa terasa lebih lama ketika jendela hampir penuh.

Dari sisi biaya, konsumsi token yang lebih besar berdampak pada sumber daya komputasi yang dibutuhkan. Konteks panjang berarti lebih banyak token yang harus dibaca dan lebih banyak memori yang dipakai, sehingga biaya operasionalnya ikut naik. Jadi mengirim seluruh dokumen besar setiap kali bertanya bukan selalu pilihan paling efisien.

Efeknya terasa pada pengalaman memakai. Pertanyaan dengan lampiran dokumen panjang sering memakan waktu lebih lama sebelum balasan mulai muncul, dan pemrosesannya lebih berat daripada pertanyaan singkat. Mengelola berapa banyak teks yang dikirim jadi keterampilan praktis tersendiri.

Contoh pemakaian sehari-hari

Dokumen panjang

Ketika kamu meringkas laporan atau menanyakan isi sebuah buku, seluruh teks harus muat dalam jendela. Kalau tidak, sebagian isi akan terpotong tanpa peringatan. Untuk dokumen yang jauh lebih besar dari kapasitas, pendekatan mengambil bagian yang relevan lebih masuk akal daripada memaksa semuanya masuk sekaligus.

Percakapan

Di chatbot, setiap balasan menambah token ke riwayat. Setelah cukup banyak pertukaran, percakapan lama mulai terpotong. Menyimpan ringkasan atau catatan penting di tempat yang selalu ikut terkirim membantu model tetap ingat hal yang krusial, meski jendela terus bergeser.

Menyiasati batas konteks

Batas konteks bukan tembok mati. Menulis instruksi ringkas, menempel hanya bagian penting dokumen, dan meringkas percakapan panjang adalah kebiasaan sederhana yang menghemat jendela. Untuk kebutuhan yang lebih besar, teknik pengambilan dokumen atau retrieval memungkinkan model bekerja dengan kumpulan teks yang jauh melampaui kapasitas jendelanya, karena hanya potongan yang relevan yang dimasukkan ke dalam konteks.

Jendela besar bukan segalanya

Jendela konteks yang besar memang menggoda, tetapi tidak otomatis membuat model lebih pintar. Menjejalkan banyak teks yang tidak relevan bisa mengaburkan informasi penting dan justru menurunkan mutu jawaban. Mengirim konteks yang tepat dan ringkas sering lebih efektif daripada mengirim semuanya sekaligus. Jadi, memperbesar jendela hanyalah salah satu faktor, bukan satu-satunya kunci.

Ringkasan

Context window adalah ruang kerja terbatas tempat model membaca dan menulis. Ia dibatasi arsitektur transformer yang biaya hitungnya tumbuh cepat, dan ketika penuh, informasi lama akan terdorong keluar. Memahami batas ini membuat kamu lebih bijak mengatur percakapan dan ukuran dokumen, sekaligus paham kenapa jendela konteks yang lebih besar selalu jadi bahan perbincangan.