Temperature dan Top-p: Mengatur Kreativitas Model

Ketika kamu memakai model bahasa, ada lapisan pengaturan yang menentukan seberapa berani ia memilih kata. Dua pengaturan yang paling sering dibicarakan adalah temperature dan top-p. Keduanya mengubah cara model memilih token berikutnya, dari yang paling aman sampai yang paling beragam.

Model tidak memilih kata secara langsung

Model bahasa menghasilkan nilai untuk banyak kemungkinan token berikutnya. Nilai itu lalu diubah menjadi peluang. Cara memilih dari daftar peluang inilah yang disebut decoding, dan di sinilah temperature serta top-p berperan.

Setiap langkah bergantung pada konteks yang ada saat itu, termasuk token yang baru saja dihasilkan model sendiri. Karena itu, pengaturan decoding pada satu langkah bisa memengaruhi arah seluruh kalimat berikutnya.

Decoding greedy vs sampling

Ada dua pendekatan dasar. Yang pertama, greedy search, mengambil token dengan peluang tertinggi pada setiap langkah. Hugging Face menjelaskan bahwa cara ini menghasilkan keluaran yang konsisten dan dapat diprediksi, tetapi sering terasa membosankan dan berulang. Karena selalu memilih yang paling mungkin, model sulit keluar dari jalur yang biasa.

Yang kedua adalah sampling. Alih-alih selalu mengambil yang teratas, model memilih token secara acak berdasarkan peluang masing-masing. Token dengan peluang besar lebih sering terpilih, tetapi token dengan peluang kecil tetap punya kesempatan. Hasilnya lebih beragam dan terasa lebih hidup. Inilah dasar dari temperature dan top-p.

Apa itu temperature

Temperature mengatur seberapa rata atau seberapa tajam distribusi peluang. Pada suhu rendah, peluang token teratas sangat menonjol, sehingga model cenderung memilih kata yang paling mungkin dan jawabannya lebih fokus. Pada suhu tinggi, distribusi peluang jadi lebih rata, sehingga token yang tadinya kecil peluangnya ikut mendapat kesempatan.

OpenAI menjelaskan temperature sebagai pengatur seberapa acak keluaran model. Nilai rendah membuat keluaran lebih fokus dan konsisten, nilai tinggi membuatnya lebih beragam. Hugging Face memakai istilah serupa untuk menjelaskan pengaruh suhu terhadap keberagaman teks.

Apa itu top-p (nucleus sampling)

Top-p, atau nucleus sampling, membatasi pilihan pada sekelompok token terkecil yang jumlah peluangnya sudah mencapai ambang p. Token di luar kelompok itu dibuang, lalu model melakukan sampling dari sisa pilihan tersebut.

Cara berpikirnya begini: kalau p kecil, hanya segelintir token paling mungkin yang dipertimbangkan, sehingga keluaran lebih aman. Kalau p mendekati satu, hampir semua token ikut dipertimbangkan, sehingga keluaran lebih beragam. Hugging Face menyarankan untuk mengubah temperature atau top-p, tetapi tidak keduanya sekaligus, agar pengaruh tiap pengaturan mudah dipahami.

Istilah lain yang sering muncul

Selain temperature dan top-p, ada top-k. Konsepnya mirip top-p: ia membatasi pilihan pada sejumlah token paling mungkin. Bedanya, top-k memakai jumlah tetap, sedangkan top-p memakai ambang peluang kumulatif. Hugging Face membahas keduanya sebagai cara mengendalikan keberagaman keluaran. Memahami satu membantu memahami yang lain.

Kapan pakai nilai rendah dan kapan nilai tinggi

Nilai rendah cocok untuk tugas yang menuntut ketepatan. Saat kamu meminta jawaban faktual, ringkasan, atau keluaran terstruktur, kamu ingin model memilih kata yang paling dapat diandalkan, bukan yang paling tak terduga. Menjaga pengaturan tetap fokus mengurangi peluang model berkelana.

Perlu diingat, menurunkan pengaturan ke nilai paling rendah tidak otomatis menjamin kebenaran. Model tetap bisa salah karena keterbatasan pengetahuan, bukan karena keacakan. Pengaturan decoding hanya mengatur pemilihan kata, bukan mengoreksi isi.

Nilai tinggi cocok untuk tugas yang terbuka. Saat kamu meminta ide, nama, atau variasi gaya, keberagaman justru diinginkan. Pada tugas seperti ini, sedikit keacakan membantu munculnya pilihan yang tidak terpikir sebelumnya. Nilai tinggi bukan jaminan hasil lebih baik, hanya lebih variatif.

Google juga menyebut pengaturan semacam ini dalam strategi prompting, terutama saat kamu ingin mengatur nada keluaran. Prinsipnya sederhana: tugas yang butuh satu jawaban benar cenderung memakai pengaturan konservatif, sedangkan tugas yang menghargai variasi memakai pengaturan lebih longgar.

Ilustrasi singkat

Misalkan model harus melengkapi kalimat "Kopi terbaik di kota ini". Dengan greedy, ia mungkin selalu memilih lanjutan yang paling umum, seperti "ada di dekat rumah". Jawabannya masuk akal, tetapi datar dan bisa berulang tiap kali diminta.

Dengan sampling pada suhu lebih tinggi, lanjutan yang lebih tak terduga bisa muncul. Belum tentu lebih baik, tetapi lebih variatif. Pilihan mana yang tepat bergantung pada tujuanmu: butuh konsistensi, atau butuh variasi.

Jangan terpaku pada satu angka

Angka default berbeda antar layanan, dan setiap model punya perilaku sendiri. Karena itu, lebih penting memahami arah pengaruhnya daripada menghafal satu nilai tertentu. Ubah pengaturan secara bertahap, amati hasilnya, lalu pilih yang paling sesuai dengan tugasmu.

Temperature dan top-p bekerja pada distribusi peluang yang sama. Menaikkan keduanya sekaligus bisa membuat keluaran terlalu liar, sementara menurunkannya sekaligus membuat keluaran terlalu kaku. Karena itu, ubah satu variabel saja untuk melihat efek yang jelas. Mulailah dari nilai moderat, lalu geser perlahan ke arah yang kamu butuhkan.

Yang lebih penting, sesuaikan pengaturan dengan jenis tugas, lalu simpan konfigurasi yang bekerja baik untuk tugas serupa. Dengan begitu, kamu tidak perlu menebak ulang setiap kali.

Ingat juga bahwa temperature dan top-p bekerja pada distribusi peluang, bukan pada kebenaran isi. Menaikkan keduanya bisa membuat jawaban lebih menarik, tetapi tidak memperbaiki fakta yang salah. Untuk ketepatan, kualitas prompt dan sumber yang kamu berikan tetap lebih menentukan.

Ringkasan

Model memilih token berikutnya dari distribusi peluang. Greedy selalu mengambil yang teratas, sedangkan sampling memilih secara acak berdasarkan peluang. Temperature mengatur ketajaman distribusi, dan top-p membatasi jumlah token yang dipertimbangkan. Pakai nilai rendah untuk jawaban faktual, nilai tinggi untuk ide kreatif, dan uji sendiri karena angka default berbeda antar layanan.