Pretraining: Cara Model Bahasa Belajar dari Internet

Sebelum sebuah model bahasa bisa menjawab pertanyaanmu, ia harus melewati satu fase panjang bernama pretraining. Di fase ini, model menelan teks dalam jumlah sangat besar dan belajar satu hal sederhana: menebak token berikutnya. Hasil dari fase ini bukan asisten, melainkan fondasi mentah yang nanti perlu dibentuk lebih lanjut.

Apa Itu Pretraining

Pretraining adalah proses melatih model pada korpus teks besar sebelum model itu dipakai untuk tugas tertentu. Wikipedia mendefinisikan large language model sebagai model AI yang dilatih pada teks dalam jumlah besar untuk tugas pengolahan bahasa alami, terutama menghasilkan teks. Model bahasa besar umumnya dibangun di atas arsitektur jaringan saraf transformer.

Pendekatan ini bukan hal baru. Penelitian GPT-3 menunjukkan bahwa melatih model pada korpus besar lalu menyempurnakannya untuk tugas spesifik sudah lama memberi keuntungan besar. Yang membedakan sekarang adalah skala. Ketika arsitekturnya dibuat task-agnostic, artinya tidak dirancang khusus untuk satu tugas, model yang sama bisa dipakai untuk banyak keperluan sekaligus.

Intinya, pretraining membangun pemahaman umum tentang bahasa, bukan keterampilan khusus untuk satu pekerjaan.

Sekilas Sejarah: Dari N-gram ke Transformer

Pretraining pada skala besar tidak muncul tiba-tiba. Wikipedia mencatat bahwa sebelum model berbasis transformer muncul pada 2017, beberapa model bahasa sudah dianggap besar menurut batasan komputasi dan data pada zamannya. Pada awal 1990-an, model statistik IBM memelopori teknik penyelarasan kata untuk penerjemahan mesin. Pada 2001, model n-gram yang dihaluskan dan dilatih pada ratusan juta kata mencapai perplexity terbaik saat itu. Memasuki 2000-an, seiring meluasnya internet, peneliti mulai menyusun korpus raksasa dari web.

Jalan menuju arsitektur modern mulai terbentuk ketika peneliti memakai jaringan saraf sebagai model bahasa. Tonggak pentingnya adalah paper transformer yang diperkenalkan pada konferensi NeurIPS 2017. Sejak itu, arsitektur ini menjadi dasar bagi banyak model bahasa besar yang kita kenal sekarang.

Tujuan Sederhana: Memprediksi Token Berikutnya

Tujuan pelatihan pada tahap ini terdengar sepele, yaitu memprediksi token berikutnya. Model generative pre-trained transformer (GPT), misalnya, adalah jenis LLM yang dilatih lebih dulu untuk memprediksi kata berikutnya. Dari satu target ini, model didorong menyerap pola ejaan, tata bahasa, gaya penulisan, sampai potongan fakta yang tersebar di teks.

GPT-3 adalah contohnya. Model autoregresif ini memiliki 175 miliar parameter, sepuluh kali lebih banyak dari model bahasa non-sparse sebelumnya. Meski dilatih dengan target prediksi yang sederhana, model sebesar itu menunjukkan kemampuan menjalankan tugas seperti penerjemahan, tanya jawab, dan melengkapi kalimat hanya dengan beberapa contoh di dalam teks, tanpa pembaruan gradien atau fine-tuning.

Inilah yang membuat skala penting. Semakin besar model dan datanya, semakin baik performa few-shot tanpa pelatihan khusus per tugas.

Dari Mana Datanya

Model bahasa besar belajar dari teks yang dikumpulkan dari internet. Wikipedia mencatat bahwa sejak tahun 2000-an, seiring meluasnya akses internet, peneliti mulai menyusun kumpulan teks raksasa dari web untuk melatih model bahasa statistik.

Namun data internet punya konsekuensi. Karena korpusnya sangat besar dan berasal dari web, kualitasnya tidak seragam. GPT-3 sendiri tercatat menghadapi persoalan metodologis pada sebagian dataset karena dilatih pada korpus web berskala besar. Wikipedia juga mengingatkan bahwa data pelatihan yang bias atau tidak akurat bisa membuat keluaran model jadi kurang bisa diandalkan.

Jadi, kualitas data bukan detail kecil. Ia menentukan seberapa sehat dasar kemampuan model.

Kenapa Transformer Memungkinkan Pelatihan Paralel

Arsitektur transformer adalah alasan mengapa pelatihan skala besar menjadi praktis. Dalam makalah Attention Is All You Need, para peneliti mengusulkan arsitektur jaringan sederhana bernama Transformer yang sepenuhnya berdasar mekanisme attention, tanpa recurrence dan tanpa konvolusi.

Poin kuncinya begini. Model lama berbasis recurrent atau convolutional memproses urutan secara berurutan. Transformer tidak. Karena itu ia jauh lebih mudah diparalelkan dan butuh waktu pelatihan yang jauh lebih singkat. Makalah tersebut melaporkan modelnya mencapai 28,4 BLEU pada tugas terjemahan Inggris ke Jerman, dan skor 41,8 BLEU untuk Inggris ke Prancis setelah dilatih 3,5 hari di delapan GPU.

Kemampuan memproses banyak token secara paralel inilah yang membuka jalan bagi pelatihan pada data internet dalam jumlah masif. Attention memungkinkan model melihat hubungan antar-token dalam satu urutan sekaligus, bukan satu per satu.

Skala yang Mengubah Segalanya

Yang membuat pendekatan modern berbeda bukan hanya arsitekturnya, tetapi skala data dan parameter. GPT-3 menunjukkan bahwa memperbesar model secara signifikan meningkatkan performa few-shot yang bersifat task-agnostic. Model ini bahkan kadang menyaingi pendekatan fine-tuning terbaik sebelumnya.

Kemampuannya mencakup tugas yang menuntut penalaran langsung, seperti menyusun ulang kata yang teracak, memakai kata baru dalam kalimat, atau melakukan aritmetika tiga digit. Pada beberapa dataset, GPT-3 masih kesulitan, dan ada juga dataset yang memunculkan persoalan metodologis karena pelatihan pada korpus web besar. Terlepas dari itu, ia bahkan bisa menghasilkan contoh artikel berita yang sulit dibedakan penguji manusia dari tulisan manusia.

Kombinasi arsitektur yang mudah diparalelkan dan data internet yang melimpah inilah yang membuat pretraining skala besar bisa dijalankan.

Hasilnya: Base Model

Setelah pretraining selesai, yang kamu dapat bukan asisten yang siap membantu, melainkan base model. Ia sudah menyerap pola bahasa, tetapi belum tentu mengikuti instruksi dengan baik. Wikipedia menjelaskan bahwa GPT mula-mula dilatih untuk memprediksi kata berikutnya, lalu sering disempurnakan lagi agar mengikuti instruksi dan berperilaku sebagai asisten.

Base model bisa melanjutkan teks, tetapi belum punya kesadaran tugas. Ia menjawab sebagai kelanjutan pola, bukan sebagai bantuan yang diarahkan. Di titik inilah tahap berikutnya, yaitu fine-tuning dengan instruksi, menjadi penting.

Memahami base model membantumu melihat mengapa model besar membutuhkan lebih dari sekadar pretraining. Pretraining memberi bahan mentah berupa pemahaman bahasa, sementara pembentukan menjadi asisten terjadi setelahnya.