5 Tahap Pipeline LLM: Dari Data Mentah Sampai Jadi Asisten AI

Setiap hari orang mengetik pertanyaan ke ChatGPT, Claude, atau Gemini tanpa tahu apa yang sebenarnya terjadi di balik layar. Model itu tidak lahir sebagai asisten yang sopan. Ia dibentuk lewat beberapa tahap yang berurutan, dan tahap-tahap ini kurang lebih sama di hampir semua model bahasa besar yang beredar sekarang.

Panduan ini merangkum lima tahap tersebut, dari data mentah sampai jadi asisten yang bisa dipakai. Rujukan utamanya adalah thread teknis @RahulTechX tentang pipeline LLM, ditambah dua paper dasar: "Attention Is All You Need" yang memperkenalkan arsitektur Transformer, dan paper InstructGPT yang menjelaskan cara melatih model agar mengikuti instruksi.

Kenapa urutannya penting

Kalau kamu paham urutan ini, banyak perilaku model jadi masuk akal. Model bisa menulis kode karena pernah melihat jutaan baris kode saat dilatih. Model kadang mengarang jawaban karena tugas dasarnya memang menebak kelanjutan teks, bukan memastikan kebenaran. Model menolak permintaan tertentu karena ada tahap khusus yang melatihnya berperilaku demikian.

Anggap saja seperti membangun rumah: pondasi, struktur, dinding, atap, lalu finishing. Melewati satu tahap bukan berarti hasilnya nol, tapi hasilnya akan berbeda secara mendasar.

Tahap 1: Data, bahan mentah yang harus dibersihkan

Semua model dimulai dari kumpulan teks yang sangat besar: halaman web publik, buku, paper, repositori kode, dan transkrip. Mengumpulkannya baru setengah pekerjaan. Setengah lainnya adalah membersihkannya.

Data mentah penuh sampah. Konten duplikat dibuang karena satu paragraf yang muncul ribuan kali akan membuat model bias. Spam, teks berkualitas rendah, dan materi berbahaya disaring. Prinsipnya sederhana: sampah masuk, sampah keluar. Model yang dilatih dengan data lebih bersih biasanya mengalahkan model yang datanya lebih banyak tapi berantakan.

Setelah bersih, teks dipecah jadi token. Model tidak membaca huruf atau kata seperti manusia; ia menerima potongan kecil yang sering berupa bagian dari kata. Semua dokumen diubah jadi urutan angka, dan sejak titik itu model tidak pernah lagi melihat huruf asli. Ini juga alasan model kadang keliru saat diminta menghitung jumlah huruf dalam sebuah kata.

Tahap 2: Pretraining, belajar menebak token berikutnya

Ini tahap paling mahal secara komputasi, dan di sinilah hampir semua pengetahuan model terbentuk. Tugasnya cuma satu: menebak token berikutnya.

Model diberi potongan teks, diminta menebak lanjutannya, lalu hasil tebakannya dibandingkan dengan teks asli. Dari selisih itu, bobot internalnya disesuaikan sedikit. Prosesnya diulang triliunan kali sampai model menjadi sangat pintar menebak kelanjutan yang masuk akal.

Yang menarik, tugas sederhana ini memaksa model menyerap tata bahasa, fakta, pola penalaran, dan sintaks pemrograman. Tidak ada yang mengajarkan grammar secara eksplisit. Model menemukan polanya sendiri karena memahami pola membuat tebakannya lebih akurat.

Hasil tahap ini disebut base model. Ia sangat berpengetahuan, tapi belum tahu perannya. Kalau kamu bertanya, ia mungkin meneruskan kalimatmu atau menulis paragraf bergaya mirip, bukan menjawab sebagai asisten. Di titik ini model belum punya konsep "membantu pengguna".

Tahap 3: Supervised fine-tuning, diajari jadi asisten

Supaya model tahu perannya, ia dilatih dengan ribuan contoh pasangan instruksi dan jawaban ideal. Proses belajarnya tetap sama, yaitu menebak token berikutnya. Bedanya, kini yang dipelajari adalah demonstrasi berkualitas, bukan teks internet acak.

Jumlah contohnya jauh lebih sedikit dibanding pretraining: ribuan sampai puluhan ribu, bukan triliunan token. Tapi kualitasnya jauh lebih menentukan. Satu contoh yang ditulis dan diperiksa manusia biasanya lebih berguna daripada sepuluh contoh asal-asalan.

Setelah tahap ini, model sudah bisa dipakai: menjawab pertanyaan, meringkas dokumen, menulis kode, mengikuti format keluaran tertentu. Banyak aplikasi internal sudah cukup sampai di sini. Yang belum ada adalah konsistensi rasa dan penilaian halus tentang jawaban mana yang lebih disukai orang.

Tahap 4: Reward modeling, belajar mana jawaban yang disukai

Untuk banyak pertanyaan, tidak ada satu jawaban benar. Yang ada jawaban yang lebih disukai. Masalahnya, "lebih disukai" sulit ditulis sebagai aturan tetap.

Solusinya: model diminta membuat beberapa jawaban untuk satu pertanyaan, lalu manusia mengurutkannya dari paling bagus ke paling buruk. Dari data perbandingan itu, dilatih jaringan sarat kedua yang disebut reward model. Tugasnya hanya satu: memprediksi jawaban mana yang akan dipilih manusia.

Reward model tidak pernah berbicara langsung dengan pengguna. Ia bekerja di belakang layar sebagai penilai otomatis. Karena penilaian manusia tidak mungkin dilakukan untuk setiap jawaban yang dihasilkan model, reward model berperan sebagai pendekatan yang bisa diskalakan dari selera manusia.

Tahap 5: Reinforcement learning, latihan berulang sampai konsisten

Tahap terakhir menggabungkan hasil tahap tiga dan empat. Model menghasilkan jawaban, reward model memberi nilai, lalu reinforcement learning menggeser model agar jawaban dengan nilai tinggi lebih sering muncul. Siklusnya berulang: hasilkan, nilai, perbaiki, ulangi.

Karena penilaiannya otomatis, latihan bisa berjalan jauh lebih lama daripada yang mungkin dilakukan dengan contoh manusia saja. Di sinilah model belajar menjaga nada bicara, mengikuti instruksi berlapis, menolak permintaan berisiko, dan tetap runtut dalam jawaban panjang.

Pendekatan yang populer untuk ini adalah RLHF, reinforcement learning from human feedback. Sebagian lab juga memakai varian yang memanfaatkan umpan balik dari model lain yang dipandu prinsip tertentu, sering disebut RLAIF atau Constitutional AI. Detail teknisnya berbeda, tapi tujuannya sama: mengarahkan model ke perilaku yang lebih membantu dan lebih bisa dipercaya.

Ringkasan lima tahap

Tahap	Pertanyaan yang dijawab	Hasil
Data	Bahan apa yang dipelajari?	Dataset bersih dan sudah jadi token
Pretraining	Apa pola dasar bahasa?	Base model yang berpengetahuan
Supervised fine-tuning	Bagaimana cara membantu?	Model yang bisa mengikuti instruksi
Reward modeling	Jawaban mana yang lebih disukai?	Penilai otomatis selera manusia
Reinforcement learning	Bagaimana jadi konsisten?	Asisten yang siap dipakai

Penting dicatat: membangun model sekelas GPT atau Claude bukan proyek laptop. Yang bisa dilakukan siapa pun adalah memahami alurnya, lalu membuat versi kecil dari tiap tahap untuk belajar. Banyak developer melatih model mini, melakukan fine-tuning pada model terbuka, dan mencoba preference learning untuk melihat langsung bagaimana tiap tahap mengubah perilaku model.

Kalau kamu sedang membangun produk berbasis AI, peta ini berguna untuk mengambil keputusan. Butuh model yang paham domain spesifik? Mulai dari data dan fine-tuning. Jawaban terasa tidak konsisten? Itu wilayah alignment. Model terlalu banyak mengarang? Itu konsekuensi langsung dari cara ia dilatih, bukan bug yang bisa ditambal dengan prompt saja.