Lima Tahap Pipeline Model Bahasa Besar dari Data ke RLHF

Setiap hari jutaan orang memakai ChatGPT dan Claude tanpa tahu apa yang sebenarnya membuatnya bekerja. Padahal setiap model bahasa besar modern, apa pun nama perusahaannya, dibangun lewat urutan proses yang kurang lebih sama. Kalau kamu paham lima tahapnya, model ini berhenti terasa seperti sihir.

Satu pipeline, lima tahap

Artikel asli dari @RahulTechX merangkum alurnya: ambil data mentah, latih model memprediksi token berikutnya, ajar dia jadi asisten, nilai mutu jawabannya, lalu haluskan perilakunya lewat reinforcement learning. Perusahaan punya dataset dan infrastruktur masing-masing, tetapi alur besarnya konsisten. Kamu tidak akan membangun tandingan GPT di laptop. Tujuannya bukan itu, melainkan menyusun peta mental yang benar.

Tahap 1: Data, bahan mentah yang harus dibersihkan

Semua dimulai dari data dalam jumlah sangat besar: halaman web publik, buku, paper, dan repositori kode. Data mentah penuh sampah. Konten duplikat dibuang agar model tidak bias oleh paragraf yang muncul ribuan kali. Prinsipnya sederhana: sampah masuk, sampah keluar. Model dengan data bersih hampir selalu mengalahkan model dengan data lebih banyak tetapi berantakan.

Satu konsep penting di tahap ini adalah tokenisasi. Model tidak membaca huruf atau kata seperti manusia. Teks dipotong menjadi unit lebih kecil bernama token, sering kali berupa potongan kata. Google mendokumentasikan bahwa satu token kira-kira setara empat karakter bahasa Inggris. Karena model hanya melihat urutan angka dari token, dia bisa kesulitan menghitung jumlah huruf dalam sebuah kata.

Di akhir tahap ini belum ada yang dipelajari. Yang kamu punya baru dataset raksasa yang sudah bersih dan siap dilatih.

Kalau kamu mau belajar sendiri

Coba tokenizer daring, masukkan kalimat biasa, dan lihat bagaimana teks terpecah menjadi token. Lalu bersihkan dataset teks kecil: hapus duplikat, saring konten berisik, seragamkan format.

Tahap 2: Pretraining, tempat model belajar segalanya

Pretraining adalah tahap paling mahal secara komputasi, sekaligus tempat model menyerap hampir seluruh pengetahuannya. Tujuannya sederhana: prediksi token berikutnya. Model diberi urutan token dan diminta menebak kelanjutannya. Dia menebak, membandingkan dengan jawaban benar, menyesuaikan parameter internalnya, lalu mengulang, pada triliunan token.

Yang menarik adalah apa yang muncul dari tugas sesederhana itu. Untuk memprediksi dengan baik di buku, situs, dan kode, model harus menyerap tata bahasa, fakta, pola penalaran, hingga sintaks pemrograman. Model menemukan pola itu sendiri karena membantu prediksinya.

Hasil tahap ini disebut base model. Ia sangat berpengetahuan, tetapi belum dirancang menjadi asisten dan cenderung melanjutkan kalimatmu. Akar halusinasi juga ada di sini. Paper InstructGPT dari OpenAI menyebut model bahasa besar bisa menghasilkan keluaran yang tidak benar, tidak sopan, atau tidak membantu, dan itu bukan fokus dari prediksi token berikutnya.

Kalau kamu mau belajar sendiri

Pastikan kamu bisa menjelaskan prediksi token berikutnya dalam satu kalimat tanpa jargon. Latih model bahasa mini pada dataset kecil untuk merasakan langsung loop pelatihannya.

Tahap 3: Supervised fine-tuning, mengubah model jadi asisten

Setelah pretraining, kamu punya model berpengetahuan yang belum tahu perannya. Dia belum belajar bahwa tugasnya menjawab pertanyaan dan mengikuti instruksi. Di sinilah supervised fine-tuning, disingkat SFT, masuk.

Model dilatih pada ribuan contoh yang disiapkan hati-hati. Setiap contoh memasangkan masukan dengan keluaran ideal: pertanyaan dengan jawaban membantu, instruksi dengan respons tepat. Cara belajarnya tetap prediksi token berikutnya, tetapi kini dari demonstrasi bermutu tinggi, bukan teks internet mentah. Paper InstructGPT menjelaskan tahap ini berangkat dari demonstrasi tulisan manusia, dengan dataset jauh lebih kecil.

Setelah SFT, model menjadi praktis: bisa mengikuti instruksi, menjawab, menulis kode, dan meringkas. Namun kerapian dan keamanan asisten modern baru datang di dua tahap berikutnya.

Kalau kamu mau belajar sendiri

Bandingkan respons base model dengan model yang sudah di-instruction-tune untuk melihat perbedaan perilakunya. Susun dataset instruksi kecil berisi pasangan prompt dan respons, lalu fine-tune model open source kecil pada satu tugas.

Tahap 4: Reward modeling, mengajarkan selera manusia

Ini tahap yang paling jarang dibahas, padahal menjadi alasan asisten modern terasa matang. Setelah SFT, model bisa memberi jawaban berguna, tetapi kegunaan tidak selalu hitam putih. Untuk banyak prompt, tidak ada satu jawaban benar, yang ada adalah jawaban yang lebih disukai orang. Bagaimana mengajarkan selera ketika aturan tetap tidak lengkap mendefinisikannya?

Solusinya elegan. Model diminta menghasilkan beberapa respons untuk prompt yang sama. Penilai manusia mengurutkannya dari terbaik ke terburuk. Peneliti melatih jaringan saraf kedua bernama reward model yang memprediksi respons mana yang akan disukai manusia. Setelah belajar dari banyak perbandingan, reward model dapat menilai jutaan respons otomatis. Ia bekerja di belakang layar, tidak berhadapan langsung dengan pengguna.

Kalau kamu mau belajar sendiri

Pahami kenapa membandingkan dua jawaban lebih mudah dan lebih skalabel daripada menulis jawaban sempurna setiap kali. Pelajari bagaimana lab AI mengumpulkan data preferensi dengan meminta manusia mengurutkan beberapa respons.

Tahap 5: Reinforcement learning, menyempurnakan asisten

Tahap terakhir menyulap model yang cakap menjadi asisten rapi. Prosesnya dikenal sebagai RLHF, singkatan dari reinforcement learning from human feedback. Kamu berangkat dari model hasil SFT dan reward model sebelumnya. Asisten menghasilkan jawaban, reward model menilai mutunya, lalu reinforcement learning menyesuaikan asisten agar lebih sering menghasilkan jawaban bernilai tinggi. Siklusnya: hasilkan, nilai, perbaiki, ulangi.

Karena reward model bisa menilai otomatis, asisten terus berlatih jauh setelah demonstrasi manusia berhenti. Paper InstructGPT melaporkan pendekatan tiga langkah, SFT, reward modeling, dan reinforcement learning, menghasilkan model yang lebih disukai dibanding model yang hanya melalui SFT pada tugas yang diuji.

Model frontier masa kini juga memakai teknik penyelarasan baru. Sebagian sistem memakai umpan balik dari prinsip atau konstitusi yang didefinisikan cermat, sering disebut RLAIF atau Constitutional AI. Paper Constitutional AI dari Anthropic menjelaskan proses dua fase, supervised dan reinforcement learning, dengan pengawasan manusia hanya lewat daftar prinsip. Semua itu bertujuan sama: perilaku model yang lebih membantu dan dapat dipercaya.

Di akhir tahap ini pipeline selesai. Model belajar bahasa lewat pretraining, membantu lewat SFT, dan menyelaraskan diri lewat reinforcement learning.

Kalau kamu mau belajar sendiri

Pahami loop reinforcement learning: model menghasilkan respons, reward model menilai, model memperbarui diri. Bandingkan RLHF dengan RLAIF dan Constitutional AI untuk melihat arah perkembangan penyelarasan.

Ringkasan

Data, pretraining, supervised fine-tuning, reward modeling, reinforcement learning. Lima tahap itu adalah fondasi setiap model bahasa besar modern. Begitu pipeline ini klik, AI berhenti jadi kotak hitam misterius. Halusinasi lebih mudah dijelaskan karena kamu paham prediksi token berikutnya. Prompting jadi lebih masuk akal karena kamu tahu sedang memengaruhi prediksi model. Perbedaan penyelarasan antar model juga lebih jelas karena kamu mengerti peran reward modeling. Memahami alurnya saja sudah keunggulan besar, dan tiap tahapnya bisa dicoba dalam skala kecil.