Model Kecil vs Model Besar: Kapan Pakai yang Mana

Memilih model bahasa sering terasa seperti memilih kendaraan. Model besar lebih mampu, tetapi lebih berat dan lebih mahal dijalankan. Model kecil lebih ringan, tetapi ada batas kemampuannya. Untungnya, riset soal hukum scaling memberi pegangan agar keputusanmu tidak sekadar menebak.

Hukum pangkat: makin besar, makin baik

Makalah "Scaling Laws for Neural Language Models" menunjukkan pola yang konsisten. Kinerja model bahasa, yang diukur lewat loss, membaik secara hukum pangkat ketika ukuran model, jumlah data, dan jumlah komputasi pelatihan ditambah. Loss turun mengikuti kurva yang relatif mulus, bukan melompat turun secara acak.

Hukum pangkat berarti peningkatan yang terus berkurang tetapi tetap berarti. Menambah anggaran komputasi secara umum menurunkan loss, dan pola ini berlaku lintas ukuran model selama pelatihan tidak terhambat hal lain, misalnya data yang kurang. Temuan ini penting karena membuat pelatihan model lebih bisa diperkirakan sebelumnya.

Namun hukum ini bicara soal loss, bukan soal kepraktisan. Model yang lebih baik di atas kertas belum tentu lebih tepat untuk kasusmu.

Compute-optimal: menyeimbangkan ukuran dan token

Makalah lanjutan, "Training Compute-Optimal Large Language Models", menambahkan nuansa penting. Riset ini menemukan bahwa untuk anggaran komputasi tertentu, ukuran model dan jumlah token pelatihan sebaiknya diskalakan secara seimbang. Model raksasa yang hanya melihat sedikit data bukan pilihan paling efisien.

Temuan ini mengoreksi kebiasaan lama yang cenderung membesarkan model tanpa menambah data sepadan. Untuk komputasi yang sama, model yang lebih kecil tetapi dilatih dengan lebih banyak token bisa mengalahkan model besar yang kekurangan data. Jadi ukuran model dan jumlah data adalah dua tombol yang harus diputar bersama, bukan satu saja.

Pesan praktisnya sederhana: ukuran model bukan satu-satunya penentu mutu. Keseimbangan antara ukuran dan jumlah data turut menentukan seberapa efisien setiap unit komputasi yang kamu belanjakan.

Trade-off model besar dan model kecil

Kedua temuan itu bertemu di satu titik: model besar cenderung lebih mampu, tetapi ada harga yang dibayar. Berikut perbandingan kasarnya.

Aspek	Model besar	Model kecil
Mutu	Umumnya lebih tinggi pada tugas sulit	Cukup untuk tugas ringan sampai sedang
Latensi	Cenderung lebih lambat merespons	Cenderung lebih cepat merespons
Biaya	Lebih mahal dijalankan dan dilayani	Lebih murah
Kebutuhan perangkat	Menuntut memori dan GPU lebih besar	Bisa berjalan di perangkat terbatas

Mutu

Model besar unggul pada tugas yang menuntut penalaran panjang, pemahaman konteks rumit, atau keluaran yang harus konsisten. Model kecil sering tertinggal pada tugas seperti itu. Namun pada tugas yang lebih sederhana, selisih mutunya bisa menyempit sampai hampir tidak terasa.

Latensi

Model yang lebih kecil umumnya menghasilkan jawaban lebih cepat karena perlu menghitung lebih sedikit. Pada aplikasi yang menuntut respons segera, seperti autocomplete atau chat interaktif, latensi ini bisa lebih penting daripada selisih mutu yang tipis.

Biaya

Model besar menuntut lebih banyak sumber daya, baik saat melatih maupun saat melayani permintaan. Kalau biaya jadi pertimbangan utama, model kecil atau model yang diringankan sering lebih masuk akal untuk tugas rutin.

Kebutuhan perangkat

Menjalankan model besar menuntut memori dan daya komputasi yang besar. Model kecil lebih mungkin berjalan di perangkat dengan sumber daya terbatas. Inilah alasan model kecil sering dipilih untuk penggunaan di sisi pengguna atau di perangkat yang tidak punya GPU besar.

Kapan model kecil lebih tepat

Model kecil atau model yang diringankan layak dipertimbangkan ketika tugasnya terbatas dan berulang. Contohnya klasifikasi teks, ekstraksi informasi terstruktur, atau menjawab pertanyaan dari basis pengetahuan sempit. Pada kasus seperti ini, menambah ukuran model sering tidak memberi perbaikan sepadan.

Pertimbangan lain adalah tempat model dijalankan. Kalau model harus hidup di perangkat tanpa GPU besar, ukuran dan kebutuhan memori menjadi pembatas utama. Di sini model kecil bukan sekadar penghematan, melainkan satu-satunya pilihan yang layak.

Keseimbangan juga berlaku pada data. Seperti temuan compute-optimal, model kecil yang dilatih dengan data cukup bisa tampil baik, sedangkan model besar yang kurang data justru tidak efisien. Jadi jangan menilai kemampuan hanya dari jumlah parameter.

Ada pula pertimbangan waktu tanggap dan biaya operasional harian. Model kecil yang dijalankan berulang kali untuk tugas rutin menekan beban perangkat sekaligus mempercepat alur kerja. Sebaliknya, model besar yang dipanggil untuk setiap permintaan sederhana bisa memboroskan sumber daya tanpa manfaat sepadan. Menempatkan model yang tepat pada tugas yang tepat adalah inti dari keputusan ini.

Kuantisasi: memperkecil tanpa melatih ulang

Salah satu cara meringankan model besar adalah kuantisasi. Hugging Face mendokumentasikan kuantisasi sebagai teknik menyimpan bobot model dengan presisi lebih rendah, sehingga ukuran dan kebutuhan memorinya berkurang. Pendekatan ini memungkinkan model yang tadinya berat menjadi lebih ringan dijalankan.

Kuantisasi bukan tanpa ongkos. Menurunkan presisi bisa memengaruhi mutu keluaran, jadi ada tarik-menarik antara penghematan dan ketepatan. Untuk banyak penggunaan praktis, kompromi ini menguntungkan, terutama bila alternatifnya adalah tidak bisa menjalankan model sama sekali.

Ringkasan

Hukum scaling menunjukkan loss model membaik seiring bertambahnya ukuran model, data, dan komputasi. Temuan compute-optimal mengingatkan bahwa ukuran model dan jumlah token sebaiknya seimbang, bukan hanya mengejar parameter besar. Dalam praktik, pilihan antara model besar dan kecil adalah soal menyesuaikan mutu, latensi, biaya, dan kemampuan perangkat dengan tuntutan tugas. Untuk tugas ringan dan perangkat terbatas, model kecil atau model terkuantisasi sering justru pilihan paling efisien.