Apa Itu Parameter Model Bahasa dan Scaling Laws

Ketika mendengar sebuah model bahasa punya miliaran parameter, yang dimaksud adalah miliaran angka yang dipelajari saat pelatihan. Jumlah parameter sering dipakai sebagai ukuran seberapa besar sebuah model. Namun ukuran bukan segalanya; mutunya juga ditentukan oleh keseimbangan antara parameter, data, dan komputasi.

Apa itu parameter

Parameter, yang juga disebut bobot (weight), adalah angka internal yang menentukan bagaimana model mengubah masukan menjadi keluaran. Saat pelatihan, model menebak token berikutnya, mengukur kesalahannya, lalu menyesuaikan angka-angka ini sedikit demi sedikit.

Wikipedia menjelaskan bahwa model bahasa besar dibangun dari jaringan saraf dengan banyak parameter yang dipelajari dari data dalam jumlah besar. Setiap parameter punya peran kecil, tetapi bersama-sama membentuk kemampuan model. Tanpa pelatihan, parameter hanyalah angka acak tanpa makna.

Semakin banyak parameter, semakin banyak pula pola yang bisa disimpan model dari data. Namun setiap parameter menambah kebutuhan komputasi dan memori, baik saat pelatihan maupun saat dipakai.

Parameter, komputasi, dan ukuran

Jumlah parameter berkaitan erat dengan biaya pelatihan. Model dengan parameter lebih banyak perlu lebih banyak operasi untuk memproses satu token, dan umumnya butuh lebih banyak data agar tidak sekadar menghafal.

Paper "Scaling Laws for Neural Language Models" meneliti hubungan ini secara sistematis. Temuannya, kinerja model meningkat dengan lancar seiring bertambahnya ukuran model, jumlah data, dan jumlah komputasi. Artinya, memperbesar ketiganya secara terukur memberi hasil yang bisa diprediksi.

Dari sini istilah model besar dan model kecil muncul. Perbedaannya bukan hanya jumlah parameter, tetapi seluruh anggaran komputasi yang diperlukan untuk melatih dan menjalankannya.

Perlu dibedakan antara pelatihan dan pemakaian. Saat pelatihan, parameter terus diperbarui dan biaya komputasinya paling besar. Saat dipakai, parameternya sudah tetap, tetapi model tetap harus membaca semua parameter itu untuk menghasilkan setiap token. Karena itu model dengan lebih banyak parameter umumnya lebih lambat dan lebih mahal saat dijalankan.

Jumlah parameter juga menentukan seberapa besar model harus disimpan. Model besar butuh memori besar, sehingga tidak selalu bisa berjalan di perangkat kecil. Inilah sebabnya versi ringkas sebuah model sering dicari untuk kebutuhan sehari-hari.

Ide scaling laws

Inti scaling laws adalah pola yang dapat diprediksi. Paper tersebut menemukan bahwa loss, ukuran kesalahan model, menurun mengikuti hukum pangkat (power-law) terhadap ukuran model, ukuran dataset, dan jumlah komputasi pelatihan.

Hukum pangkat berarti penambahan sumber daya memberi perbaikan yang mengecil seiring skala membesar, tetapi arahnya konsisten. Kalau kamu memperbesar model dan data secara seimbang, loss cenderung turun mengikuti kurva yang bisa diperkirakan sebelumnya.

Temuan lain yang penting: kinerja sangat bergantung pada skala, dan overfitting bergantung pada rasio ukuran model terhadap ukuran data. Model besar yang dilatih pada data terlalu sedikit bisa lebih buruk daripada model kecil yang datanya cukup.

Scaling laws berguna karena membuat perencanaan lebih masuk akal. Alih-alih menebak-nebak, peneliti bisa memperkirakan seberapa besar model dan data yang dibutuhkan untuk mencapai tingkat kesalahan tertentu, lalu menimbangnya dengan anggaran yang tersedia. Kurva ini menjadi semacam peta biaya sebelum pelatihan mahal dijalankan.

Namun perlu diingat bahwa scaling laws adalah pola statistik, bukan janji pasti. Ia menggambarkan kecenderungan rata-rata pada banyak percobaan, bukan hasil yang dijamin untuk setiap model. Faktor seperti arsitektur, kualitas data, dan cara pelatihan tetap berpengaruh.

Kapasitas: menghafal atau memahami

Semakin banyak parameter, semakin besar kapasitas model untuk menyimpan pola. Kapasitas yang besar bisa dipakai untuk dua hal yang berbeda: menghafal data, atau menangkap aturan yang lebih umum di balik data itu.

Kalau model terlalu besar dibanding datanya, ia cenderung menghafal. Ia tampak hebat pada data latih, tetapi gagal ketika menghadapi hal baru. Sebaliknya, model yang kekurangan kapasitas tidak sanggup menangkap pola yang rumit, seberapa banyak pun datanya.

Karena itu ukuran model dan ukuran data harus tumbuh bersama. Rasio keduanya menentukan apakah kelebihan kapasitas dipakai untuk generalisasi atau justru berubah menjadi hafalan yang tidak berguna di luar data latih.

Kenapa menambah parameter saja tidak cukup

Scaling laws justru menunjukkan bahwa hanya memperbesar model tanpa menambah data dan komputasi akan sia-sia. Ketiga faktor itu saling terkait. Model raksasa yang kekurangan data mudah overfit, hafal data latih tetapi gagal pada data baru.

Selain itu, kemampuan tertentu sering baru muncul pada skala tertentu. Paper GPT-3, "Language Models are Few-Shot Learners", melaporkan bahwa kemampuan mengikuti contoh di dalam prompt meningkat seiring ukuran model. Pada model kecil, kemampuan itu praktis tidak ada.

Jadi lebih banyak parameter membantu, tetapi hanya bila diimbangi data yang cukup dan komputasi yang memadai. Menambah salah satu faktor sendirian biasanya memberi hasil yang mengecewakan.

Kenapa ini penting untuk kamu

Memahami parameter dan scaling laws membuat klaim tentang jumlah parameter jadi lebih bermakna. Kamu tahu bahwa angka itu berbicara tentang kapasitas, bukan jaminan mutu. Kualitas juga bergantung pada data dan pada penyelarasan setelah pelatihan.

Untuk pemakaian sehari-hari, ini menjelaskan mengapa model besar lebih mahal dan lebih lambat, serta mengapa model kecil sering cukup untuk tugas khusus yang sempit. Memilih model adalah soal menyesuaikan kapasitas dengan kebutuhan, bukan sekadar mengejar angka terbesar.

Ringkasan

Parameter adalah angka yang dipelajari model untuk mengubah masukan menjadi keluaran. Jumlahnya menentukan kapasitas sekaligus kebutuhan komputasi. Scaling laws menunjukkan loss turun mengikuti hukum pangkat terhadap ukuran model, data, dan komputasi, sehingga menambah parameter saja tidak cukup tanpa data dan komputasi yang seimbang.