RLAIF dan Constitutional AI: Saat AI Mengawasi AI

Reinforcement learning from human feedback (RLHF) sudah terbukti efektif menyelaraskan model bahasa besar dengan preferensi manusia. Masalahnya, mengumpulkan label preferensi berkualitas tinggi itu mahal. Supaya penyelarasan bisa naik skala tanpa terus-terusan bergantung pada tenaga manusia, muncul dua gagasan besar: Constitutional AI dan RLAIF, atau reinforcement learning from AI feedback.

Keterbatasan RLHF: label manusia itu mahal

RLHF bekerja dengan melatih reward model dari penilaian manusia, lalu memakai model itu sebagai sinyal reward. Pendekatan ini ampuh, tetapi biayanya nyata. Mengumpulkan label preferensi yang bermutu tinggi memerlukan waktu, tenaga, dan konsistensi dari banyak penilai. Ketika kebutuhan data bertambah besar, biaya ini menjadi hambatan utama.

Itulah celah yang ingin ditutup oleh RLAIF. Alih-alih mengandalkan manusia sepenuhnya, RLAIF melatih reward model dari preferensi yang dihasilkan oleh sebuah LLM yang sudah jadi. Idenya bukan menghapus manusia, melainkan memindahkan sebagian besar pekerjaan penilaian yang berulang agar bisa diskalakan.

Constitutional AI: daftar prinsip sebagai pengawas

Constitutional AI adalah metode untuk melatih asisten AI yang tidak berbahaya melalui perbaikan diri, tanpa perlu label manusia yang menandai keluaran berbahaya. Satu-satunya pengawasan manusia disediakan lewat sebuah daftar aturan atau prinsip. Karena itulah metode ini disebut Constitutional AI, mengacu pada semacam konstitusi tertulis yang menjadi acuan perilaku model.

Gagasan dasarnya begini: saat sistem AI makin mampu, kita bisa memanfaatkan bantuannya untuk mengawasi AI yang lain. Manusia cukup menetapkan prinsip-prinsipnya, lalu model yang menilai apakah keluaran tertentu melanggar prinsip itu atau tidak. Anthropic menjelaskan pendekatan ini sebagai cara mengontrol perilaku AI dengan lebih presisi dan jauh lebih sedikit label manusia.

Dua fase: supervised dan reinforcement learning

Proses Constitutional AI berjalan dalam dua fase. Fase pertama adalah supervised learning. Model awal diminta menghasilkan beberapa contoh respons, lalu membuat kritik dan revisi terhadap responsnya sendiri berdasarkan prinsip. Model asli kemudian dilatih ulang dengan jawaban yang sudah direvisi itu. Pada fase ini, model praktis belajar dari kritiknya sendiri.

Fase kedua adalah reinforcement learning. Model hasil latihan pertama menghasilkan beberapa keluaran, lalu sebuah model mengevaluasi mana dari dua sampel yang lebih baik. Dari data preferensi buatan AI inilah sebuah preference model dilatih. Model preferensi itu kemudian dipakai sebagai sinyal reward untuk melatih model utama. Pendekatan memakai umpan balik AI inilah yang disebut RLAIF.

RLAIF: reward model dari preferensi LLM

RLAIF pertama kali diperkenalkan dalam karya Constitutional AI tadi. Intinya, reward model tidak dilatih dari peringkat manusia, melainkan dari preferensi yang dihasilkan sebuah LLM yang sudah tersedia (off-the-shelf). LLM ini berperan sebagai penilai yang membandingkan dua keluaran dan menentukan mana yang lebih baik.

Bagaimana hasilnya? Penelitian yang membandingkan langsung RLAIF dan RLHF menguji keduanya pada tiga tugas: peringkasan (summarization), pembuatan dialog yang membantu (helpful dialogue generation), dan dialog yang tidak berbahaya (harmless dialogue generation). Pada ketiga tugas tersebut, RLAIF mencapai performa yang sebanding dengan RLHF. Artinya, penilai berupa AI bisa menggantikan sebagian besar penilaian manusia tanpa kehilangan kualitas secara signifikan.

Ada temuan menarik lain soal perbaikan diri. RLAIF bisa mengalahkan baseline yang hanya di-supervised fine-tune bahkan ketika AI yang memberi label berukuran sama dengan model yang dilatih, atau bahkan merupakan checkpoint yang persis sama dengan model awalnya. Ini menunjukkan bahwa AI bisa membantu memperbaiki kualitas keluarannya sendiri tanpa harus bergantung pada penilai yang lebih besar.

Penelitian yang sama juga memperkenalkan direct-RLAIF, disingkat d-RLAIF. Teknik ini melewati pelatihan reward model dengan cara mengambil reward langsung dari LLM yang sudah jadi selama proses reinforcement learning berlangsung. Menurut hasil penelitian tersebut, d-RLAIF mencapai performa yang lebih baik daripada RLAIF konvensional. Secara keseluruhan, temuan ini menunjukkan RLAIF bisa menyamai performa penggunaan umpan balik manusia, sekaligus menjadi solusi potensial bagi keterbatasan skala RLHF.

Apa yang membuat pendekatan ini berbeda

Baik fase supervised maupun reinforcement learning pada Constitutional AI bisa memanfaatkan penalaran bergaya chain-of-thought. Penalaran bertahap ini membantu meningkatkan kualitas keputusan AI menurut penilaian manusia, sekaligus membuat proses pengambilan keputusan AI lebih transparan. Jadi, manfaatnya bukan hanya pada hasil akhir, tetapi juga pada seberapa mudah proses itu dipahami dan diaudit.

Hasil akhir dari metode ini adalah asisten AI yang tidak berbahaya, tetapi juga tidak menghindar. Alih-alih menolak mentah-mentah pertanyaan sensitif, asisten itu menghadapinya dengan menjelaskan alasan keberatan atau penolakannya. Sikap ini membuat interaksi terasa lebih jujur dibandingkan sekadar menolak menjawab.

Menulis prinsip itu bagian yang paling menentukan

Karena pengawasan manusia pada Constitutional AI diberikan lewat daftar prinsip, kualitas daftar itulah yang paling menentukan hasil akhir. Prinsip yang terlalu longgar bisa membuat model kurang tegas menolak keluaran berbahaya, sedangkan prinsip yang terlalu kaku berisiko membuat model menjadi evasif dan menolak terlalu banyak hal. Karena itulah Constitutional AI diarahkan agar model tidak sekadar menolak, tetapi menjelaskan alasan keberatannya. Menyusun rumusan prinsip yang tepat tetap menjadi pekerjaan manusia yang tidak bisa dihilangkan, bahkan ketika penilaian sehari-hari sudah diserahkan kepada AI.

Ada satu hal yang membuat pendekatan ini praktis. Karena penilaian tidak lagi sepenuhnya bergantung pada pelabel manusia, jumlah label manusia yang dibutuhkan bisa jauh lebih sedikit. Namun, ini bukan berarti manusia keluar dari proses sepenuhnya. Manusia tetap memegang kendali pada tahap paling penting, yaitu menentukan nilai dan batasan yang ingin dijaga oleh model.

Catatan penutup

Constitutional AI dan RLAIF merombak cara kita memandang pengawasan dalam penyelarasan AI. Manusia tetap menentukan aturan dan prinsip, tetapi penilaian sehari-hari yang menumpuk bisa dialihkan ke AI. Kalau kamu mengikuti perkembangan cara kerja model bahasa besar, memahami pergeseran dari RLHF ke RLAIF akan membantumu melihat ke arah mana penyelarasan AI bergerak.