Reward Model: Cara AI Menilai Kualitas Jawaban

Menilai kualitas jawaban model bahasa jarang sesederhana benar atau salah. Ada banyak jawaban yang sama-sama benar tetapi berbeda kualitasnya. Reward model hadir untuk menangkap penilaian yang sulit dirumuskan itu, lalu mengubahnya menjadi sinyal angka.

Jawaban Tidak Selalu Hitam Putih

Sebagian tugas sulit ditentukan aturannya, tetapi mudah dinilai oleh manusia. Wikipedia memberi contoh melatih model menghasilkan teks yang aman, membantu, dan tidak berbahaya, misalnya teks yang bebas bias atau toksik. Meminta manusia menuliskan sendiri contoh teks berbahaya dan tidak berbahaya itu sulit dan memakan waktu.

Namun manusia jauh lebih cepat ketika diminta membandingkan beberapa keluaran sekaligus. Dari situlah ide reward model berangkat. Daripada mendefinisikan aturan yang rumit, biarkan manusia mengurutkan mana jawaban yang lebih baik.

Mengumpulkan Data Perbandingan dan Ranking

Cara paling umum mengumpulkan umpan balik manusia adalah meminta mereka memberi peringkat pada beberapa contoh perilaku agen. Peringkat ini lalu dipakai untuk memberi skor, misalnya dengan sistem Elo.

Pendekatan umumnya adalah perbandingan berpasangan. Dua jawaban ditampilkan untuk satu prompt, dan penilai memilih mana yang lebih baik. Dari banyak perbandingan seperti itu, terkumpul data tentang preferensi manusia. Wikipedia menyebut bahwa peringkat keluaran adalah bentuk umpan balik yang paling banyak dipakai, meski ada juga bentuk lain seperti umpan balik angka, umpan balik bahasa alami, atau permintaan edit langsung pada keluaran model.

Pada InstructGPT, tim peneliti mengumpulkan dataset berisi peringkat keluaran model, yang kemudian dipakai untuk menyempurnakan model supervised lebih lanjut.

Reward Model Memprediksi Preferensi Manusia

Reward model adalah model yang dilatih untuk mewakili preferensi manusia. Ia mula-mula dilatih secara supervised untuk memprediksi apakah sebuah respons terhadap prompt tertentu tergolong baik (reward tinggi) atau buruk (reward rendah), berdasarkan data peringkat dari anotator manusia.

Setelah terlatih, reward model berperan sebagai fungsi reward. Ia menilai keluaran baru dan mengubah penilaian tadi menjadi angka. Tujuannya bukan menilai benar atau salah, melainkan memprediksi seberapa besar kemungkinan manusia menyukai jawaban tersebut.

Karena itu, mutu reward model sangat bergantung pada mutu data preferensinya.

Mengapa Lebih Praktis daripada Menyusun Aturan

Dalam reinforcement learning klasik, agen berusaha memaksimalkan fungsi reward yang ditentukan lebih dulu. Masalahnya, merumuskan fungsi reward yang benar-benar mewakili preferensi manusia itu sulit. Upaya sebelumnya sering terlalu sempit dan sulit digeneralisasi, atau kesulitan belajar dari sinyal reward yang jarang dan bising.

RLHF mengambil jalan berbeda. Ia melatih reward model langsung dari umpan balik manusia, bukan menebak aturannya. Pendekatan ini bukan yang pertama memakai umpan balik manusia, tetapi menjadi salah satu yang paling banyak dipakai. Fondasinya diperkenalkan sebagai upaya membuat algoritma umum untuk belajar dari umpan balik manusia dalam jumlah yang praktis.

Kenapa Cara Ini Skalabel

Pendekatan ini menarik justru karena efisien. Salah satu motivasi awal RLHF adalah ia hanya butuh data perbandingan dalam jumlah relatif sedikit untuk berjalan efektif. Sejumlah kecil data bisa memberi hasil yang sebanding dengan data yang jauh lebih banyak.

Menariknya, menambah jumlah data cenderung kurang berdampak dibanding memperbesar ukuran reward model secara proporsional. Artinya, menaikkan kapasitas reward model sering lebih berbuah daripada sekadar menumpuk data.

Meski begitu, ada catatan penting. Untuk tugas yang harus terhindar dari bias, data yang lebih besar dan lebih beragam tetap krusial. Kalau data tidak dikumpulkan dari sampel yang representatif, model yang dihasilkan bisa memunculkan bias yang tidak diinginkan. Jadi skalabilitasnya bukan alasan untuk mengabaikan keragaman data.

Menyiapkan Sinyal untuk Reinforcement Learning

Peran reward model baru lengkap ketika ia dipakai untuk melatih model lain. Reward model yang sudah terlatih berfungsi sebagai fungsi reward untuk memperbaiki kebijakan (policy) agen lewat algoritma optimasi seperti proximal policy optimization.

Di sinilah ia menjadi jembatan antara preferensi manusia dan reinforcement learning. Manusia tidak lagi harus menilai setiap keluaran model secara langsung. Cukup preferensi mereka diwakili reward model, dan model utama belajar memaksimalkan skor dari reward model itu.

Dengan kata lain, reward model menyiapkan sinyal yang membuat reinforcement learning bisa berjalan pada tugas yang sulit dirumuskan. Ia menerjemahkan selera manusia menjadi target yang bisa dikejar oleh model.

Dalam pembelajaran klasik, agen berusaha memaksimalkan sinyal reward. Masalahnya, mendefinisikan fungsi reward yang benar-benar mewakili preferensi manusia itu sulit. Reward model menutup celah tersebut dengan belajar langsung dari umpan balik manusia.

Di Mana RLHF Dipakai

Pendekatan ini punya penerapan luas di luar chatbot. Wikipedia menyebut penggunaannya pada tugas pengolahan bahasa alami seperti peringkasan teks dan agen percakapan, tugas computer vision seperti model teks ke gambar, serta pengembangan bot permainan video.

Selain itu, RLHF dilaporkan meningkatkan ketahanan agen reinforcement learning dan kapasitas eksplorasi mereka. Hasilnya, proses optimasi jadi lebih cakap menangani ketidakpastian dan menjelajahi lingkungan untuk mencari reward tertinggi.

Tantangan dan Keterbatasan

Cara ini bukan tanpa kelemahan. Menurut Wikipedia, meski tidak membutuhkan data dalam jumlah masif untuk meningkatkan performa, menyediakan data preferensi berkualitas tetap proses yang mahal. Kalau data tidak dikumpulkan dengan hati-hati dari sampel yang representatif, model yang dihasilkan bisa menunjukkan bias yang tidak diinginkan.

Secara teknis, pembelajaran dari umpan balik melalui perbandingan berpasangan sering dimodelkan dengan Bradley-Terry-Luce, atau Plackett-Luce untuk perbandingan yang melibatkan lebih dari dua pilihan. Detail semacam ini menunjukkan bahwa di balik kesederhanaan konsepnya, ada pekerjaan statistis yang cukup rumit.

Bagi kamu yang mengikuti alur pembentukan asisten, reward model adalah kelanjutan alami setelah supervised fine-tuning. Setelah model belajar meniru contoh yang baik, tahap berikutnya adalah belajar membedakan mana jawaban yang lebih disukai, dan reward model memegang peran penting di sana.