Dasar AI
Sorotan
Lima Tahap Pipeline Model Bahasa Besar dari Data ke RLHF
Kenali lima tahap pipeline model bahasa besar: data, pretraining, supervised fine-tuning, reward modeling, dan reinforcement learning dengan analogi.
Arsip Teknis
Catatan GunaStudio
Jurnal editorial tentang kecerdasan buatan, cara kerja model bahasa, dan praktik membangun perangkat lunak yang memakainya dengan bertanggung jawab. Ditulis perlahan, dirujuk dengan sumber.
Semua Tulisan
8 terbaru
01
Tokenisasi: Cara AI Membaca Teks Jadi Token
Tokenisasi memecah teks menjadi token agar model bahasa bisa memprosesnya dengan benar. Kenali cara kerjanya dan kenapa LLM sulit menghitung huruf.
02
Temperature dan Top-p: Mengatur Kreativitas Model
Temperature dan top-p mengatur cara model memilih token berikutnya. Pahami decoding greedy vs sampling, lalu kapan pakai nilai rendah atau tinggi.
03
Supervised Fine-Tuning: Membuat Model Jadi Asisten
Base model belum bisa jadi asisten. Supervised fine-tuning melatihnya lewat contoh input dan output ideal, dan PEFT membuat prosesnya lebih efisien.
04
Structured Output: Meminta JSON Rapi dari LLM
Output teks bebas sering menyulitkan integrasi program. Structured output memaksa LLM mengikuti schema JSON. Ini kapan dipakai dan tip validasinya.
05
RLHF: Cara AI Belajar dari Manusia
RLHF membuat AI belajar dari peringkat manusia lewat tiga langkah utama, yaitu supervised fine-tuning, reward model, dan reinforcement learning.
06
RLAIF dan Constitutional AI: Saat AI Mengawasi AI
Constitutional AI dan RLAIF menggeser sebagian pengawasan dari manusia ke AI. Label preferensi manusia mahal, dan inilah cara AI mengisi celah itu.
07
Reward Model: Cara AI Menilai Kualitas Jawaban
Tidak semua jawaban AI hitam putih. Reward model belajar menilai preferensi manusia dari data perbandingan, lalu jadi sinyal untuk reinforcement learning.
08
RAG, Memberi AI Bahan Bacaan Sebelum Menjawab
RAG menggabungkan model generatif dengan pengambilan dokumen agar jawaban lebih faktual dan punya sumber. Kenali alur index, retrieve, dan generate.
Lihat seluruh arsip