RLHF: Cara AI Belajar dari Manusia

Model bahasa yang makin besar tidak otomatis makin patuh pada maksud penggunanya. Sebuah model bisa saja menghasilkan keluaran yang tidak benar, toxic, atau sekadar tidak membantu. Singkatnya, model itu belum selaras dengan penggunanya. RLHF, atau reinforcement learning from human feedback, adalah salah satu jalan untuk memperbaikinya dengan cara belajar dari umpan balik manusia.

Apa itu RLHF

Dalam machine learning, RLHF adalah teknik untuk menyelaraskan sebuah agen dengan preferensi manusia. Caranya, melatih sebuah reward model yang mewakili preferensi tersebut, lalu memakai model itu untuk melatih model lain melalui reinforcement learning. Gagasan kuncinya sederhana: mendefinisikan fungsi reward yang benar-benar mewakili preferensi manusia itu sulit, jadi lebih praktis melatih reward model langsung dari umpan balik manusia.

Umpan balik manusia umumnya dikumpulkan dengan meminta orang memeringkat beberapa contoh perilaku agen. Peringkat itu lalu dipakai untuk memberi skor pada keluaran, misalnya memakai sistem rating Elo yang menghitung tingkat keterampilan relatif hanya dari hasil tiap pertandingan. Memeringkat keluaran adalah bentuk umpan balik yang paling banyak dipakai.

Di dalam reinforcement learning klasik, tujuan agen adalah mempelajari fungsi yang memandu perilakunya, yang disebut policy. Fungsi ini dioptimalkan secara iteratif untuk memperbesar sinyal reward dari performa tugasnya. RLHF memakai kerangka yang sama, tetapi mencoba menghindari keharusan menuliskan fungsi reward secara manual. Sebab, menuliskan fungsi reward yang benar-benar mewakili preferensi manusia secara eksplisit termasuk pekerjaan yang sulit.

Tiga langkah di balik InstructGPT

Paper yang memperkenalkan pendekatan ini menjelaskan alurnya secara runtut. Semuanya berangkat dari kumpulan prompt yang ditulis pelabel dan prompt yang dikirim lewat API, lalu berkembang dalam tiga langkah.

1. Supervised fine-tuning

Langkah pertama mengumpulkan dataset demonstrasi dari pelabel tentang perilaku model yang diinginkan. Dataset inilah yang dipakai untuk melakukan fine-tuning pada GPT-3 dengan supervised learning. Jadi pada tahap ini model diajari meniru contoh jawaban yang dianggap baik.

2. Reward modeling

Langkah kedua mengumpulkan dataset berisi peringkat atas keluaran model. Dari data peringkat itu, sebuah reward model dilatih secara supervised untuk memprediksi apakah sebuah respons terhadap prompt tertentu bagus atau buruk. Reward model berperan sebagai representasi preferensi manusia dalam bentuk angka.

3. Reinforcement learning

Langkah ketiga memakai reward model tadi sebagai sinyal reward untuk menyempurnakan model hasil supervised. Model yang sudah di-fine-tune diperbaiki lagi dengan reinforcement learning. Hasil akhirnya adalah model yang mereka sebut InstructGPT.

Loop hasilkan, nilai, perbaiki, ulangi

RLHF bukan prosedur sekali jalan, melainkan sebuah siklus. Model menghasilkan beberapa alternatif jawaban, manusia menilai dan memeringkatnya, penilaian itu memperbarui reward model, lalu reward model memandu pembaruan kebijakan model. Setelah kebijakan berubah, keluaran barunya bisa dinilai lagi, dan lingkaran itu berulang.

Di sisi reinforcement learning murni, seorang agen belajar mengambil aksi di lingkungan dinamis demi memaksimalkan sinyal reward. Agen harus memilih antara mencoba aksi baru untuk belajar lebih banyak (eksplorasi) atau memakai pengetahuan yang sudah ada untuk mengambil aksi terbaik (eksploitasi). Mencari keseimbangan optimal di antara keduanya dikenal sebagai dilema eksplorasi-eksploitasi. RLHF meminjam kerangka ini, hanya saja sinyal reward-nya datang dari preferensi manusia yang disarikan ke dalam reward model.

Kenapa lebih disukai daripada hanya SFT

Kalau supervised fine-tuning saja sudah bisa mengajari model meniru contoh bagus, kenapa perlu RLHF? Karena meniru contoh belum tentu menangkap preferensi manusia secara utuh.

Paper InstructGPT melaporkan bahwa pada evaluasi manusia atas distribusi prompt mereka, keluaran dari model InstructGPT berukuran 1,3 miliar parameter lebih disukai daripada GPT-3 berukuran 175 miliar parameter, meski jumlah parameternya sekitar 100 kali lebih sedikit. Model itu juga menunjukkan peningkatan pada kejujuran (truthfulness) dan penurunan keluaran toxic, dengan regresi performa yang minimal pada dataset NLP publik.

Artinya, ukuran model bukan segalanya. Menyesuaikan model dengan umpan balik manusia bisa memberi lompatan pada aspek yang benar-benar dirasakan pengguna, yaitu mengikuti instruksi, lebih jujur, dan lebih sedikit mengeluarkan konten beracun. Papernya tetap jujur bahwa InstructGPT masih membuat kesalahan sederhana, tetapi hasilnya menunjukkan fine-tuning dengan umpan balik manusia adalah arah yang menjanjikan untuk menyelaraskan model dengan maksud manusia.

Reward model: kenapa peringkat, bukan sekadar skor

Meminta manusia memberi skor absolut itu tidak konsisten antar penilai. Karena itu, RLHF lebih sering memakai perbandingan berpasangan: dua jawaban disandingkan, penilai memilih mana yang lebih baik. Pendekatan ini lebih mudah dijaga konsistensinya dan cukup dengan jumlah data perbandingan yang relatif sedikit untuk memberi hasil.

Ada satu catatan penting soal data. Data yang lebih sedikit bisa memberi hasil yang sebanding dengan data yang lebih banyak, sementara menambah jumlah data cenderung kurang efektif dibandingkan memperbesar reward model secara proporsional. Meski begitu, data yang lebih banyak dan beragam tetap penting untuk tugas yang perlu menghindari bias dari kelompok pelabel yang tidak representatif.

Keterbatasan yang perlu kamu tahu

RLHF bukan solusi sempurna. Paper InstructGPT sendiri menegaskan bahwa model ini masih membuat kesalahan sederhana, jadi hasilnya adalah arah yang menjanjikan, bukan akhir dari persoalan. Kualitasnya juga bergantung pada kualitas penilaian manusia. Karena data pelabel berasal dari sekelompok orang tertentu, muncul risiko bias bila kelompok itu tidak representatif terhadap pengguna yang lebih luas. Karena itu, keanekaragaman data dan jumlah yang memadai tetap penting, terutama untuk tugas yang sensitif terhadap bias.

Ada pula soal efisiensi. Sekumpulan data perbandingan yang relatif kecil sudah bisa memberi hasil yang layak, sementara menambah data tidak selalu seefektif memperbesar reward model secara proporsional. Menyeimbangkan jumlah data, ukuran reward model, dan kualitas penilaian adalah bagian dari seni menerapkan RLHF di dunia nyata.

Catatan penutup

RLHF memberi kerangka yang jelas untuk menerjemahkan preferensi manusia menjadi sinyal yang bisa dioptimalkan model. Tiga langkahnya, yaitu supervised fine-tuning, reward modeling, dan reinforcement learning, kini menjadi pola umum di balik banyak asisten AI modern. Kalau kamu ingin memahami bagaimana model bisa lebih patuh, lebih jujur, dan lebih aman, RLHF adalah salah satu konsep pertama yang layak dikuasai.