Pendahuluan

Bayangkan Anda sedang menulis pesan kepada teman:

“Besok aku tidak bisa datang karena …”

Sebelum kalimat itu selesai, kepala kita sudah mulai menebak kelanjutannya. Mungkin “ada rapat”, “sedang sakit”, “harus ke luar kota”, atau “ada urusan keluarga”. Kita tidak menebak secara acak. Kita memakai pengalaman bahasa, kebiasaan sosial, konteks percakapan, dan pengetahuan tentang dunia.

Large Language Model, atau LLM, berangkat dari ide yang tampak sederhana: jika sebuah sistem belajar dari sangat banyak contoh bahasa, mungkinkah ia memprediksi kelanjutan teks dengan sangat baik? Ternyata, ketika ide sederhana ini digabungkan dengan data sangat besar, komputasi modern, dan arsitektur neural network yang kuat seperti transformer, hasilnya dapat terasa mengejutkan: sistem itu dapat menjawab pertanyaan, merangkum dokumen, menulis kode, menerjemahkan bahasa, membantu belajar, membuat rencana, bahkan berdialog seolah-olah memahami maksud kita. Arsitektur transformer diperkenalkan oleh Vaswani dan rekan-rekannya pada 2017 dan menjadi salah satu fondasi teknis utama bagi banyak model bahasa modern (Vaswani et al., 2017).

Namun buku ini tidak akan meminta Anda percaya bahwa LLM adalah “otak digital” atau “makhluk sadar”. Kita akan berjalan lebih hati-hati. Kita akan mulai dari prinsip pertama: apa itu bahasa, apa itu pola, apa itu prediksi, apa itu probabilitas, apa itu vektor, apa itu neural network, dan mengapa semua itu dapat menghasilkan perilaku yang tampak cerdas.

Tujuan buku ini sederhana tetapi ambisius: setelah selesai membacanya, Anda tidak hanya “bisa memakai ChatGPT atau Claude”, tetapi juga paham apa yang kira-kira terjadi di balik layar, mengapa jawabannya kadang bagus, mengapa kadang salah, bagaimana memanfaatkannya dengan bijak, dan bagaimana membayangkan langkah awal membangun sistem serupa dalam skala kecil.

Mengapa LLM penting dipahami?

LLM bukan sekadar teknologi untuk membuat chatbot. Ia adalah cara baru komputer berinteraksi dengan manusia melalui bahasa sehari-hari. Dahulu, agar komputer melakukan sesuatu, kita sering harus memberi instruksi dalam bentuk yang sangat kaku: klik tombol tertentu, isi formulir tertentu, tulis kode tertentu, atau gunakan perintah tertentu. Sekarang, semakin banyak sistem yang dapat menerima instruksi seperti:

“Tolong ringkas dokumen ini dalam lima poin untuk manajer non-teknis.”

atau:

“Bantu saya memahami kenapa kode Python ini error.”

atau:

“Buatkan rencana belajar kalkulus selama empat minggu untuk pemula.”

Perubahan ini besar karena bahasa alami—bahasa yang dipakai manusia sehari-hari, seperti bahasa Indonesia, Inggris, Arab, Jepang, atau Jawa—menjadi antarmuka utama. Istilah “bahasa alami” dipakai untuk membedakan bahasa manusia dari bahasa formal seperti bahasa pemrograman atau notasi matematika. Bahasa alami penuh konteks, ambiguitas, kebiasaan, sindiran, dan makna tersirat. Misalnya kalimat “Bisa buka jendela?” secara harfiah adalah pertanyaan tentang kemampuan, tetapi dalam banyak situasi maknanya adalah permintaan.

Komputer tradisional sulit menghadapi kelenturan seperti itu. LLM menjadi penting karena ia membuat komputer jauh lebih mampu bekerja dengan kelenturan bahasa manusia.

Akan tetapi, kemampuan ini datang bersama risiko. Model dapat menghasilkan informasi yang terdengar meyakinkan tetapi salah. Ia dapat memantulkan bias dari data latihnya. Ia dapat membantu pekerjaan, tetapi juga dapat dipakai untuk spam, disinformasi, atau otomatisasi yang tidak bertanggung jawab. Karena itu, memahami LLM bukan hanya kebutuhan teknis. Ini juga kebutuhan literasi publik.

Dalam beberapa tahun terakhir, banyak peneliti memakai istilah foundation model untuk menyebut model besar yang dilatih pada data luas dan kemudian dapat disesuaikan untuk banyak tugas berbeda, termasuk model bahasa, model gambar, dan model multimodal. Istilah ini dibahas secara sistematis dalam laporan Stanford tentang foundation models (Bommasani et al., 2021). LLM adalah salah satu contoh paling berpengaruh dari keluarga foundation model.

Apa sebenarnya LLM itu?

Mari mulai dengan definisi kerja yang sederhana.

Large Language Model adalah model komputasional berukuran besar yang dilatih untuk memproses dan menghasilkan bahasa. Kata “model” di sini berarti representasi yang disederhanakan dari suatu pola. Peta kota adalah model dari kota: tidak memuat semua pohon, suara, dan orang, tetapi cukup untuk membantu kita menemukan jalan. Ramalan cuaca adalah model dari atmosfer: tidak sempurna, tetapi berguna untuk memperkirakan hujan. LLM adalah model dari pola bahasa: tidak menyimpan “pemahaman manusia” secara utuh, tetapi belajar keteraturan statistik dalam teks.

Kata “large” berarti model ini memiliki banyak parameter dan biasanya dilatih pada data yang sangat besar. Parameter adalah angka internal yang menentukan cara model mengubah masukan menjadi keluaran. Jika kita membayangkan LLM sebagai mesin yang menerima teks dan menghasilkan teks, parameter adalah jutaan, miliaran, atau bahkan triliunan “kenop halus” di dalam mesin itu. Selama pelatihan, nilai-nilai parameter disesuaikan agar prediksi model semakin baik.

Kata “language” menunjukkan bahwa objek utamanya adalah bahasa. Tetapi dalam praktik modern, banyak sistem AI tidak lagi hanya memproses teks. Sebagian juga memproses gambar, suara, video, tabel, kode, dan tindakan melalui alat eksternal. Kita akan membahas perluasan ini di bagian multimodal dan tool use.

Kata “model” penting karena mencegah dua salah paham sekaligus. Pertama, LLM bukan sekadar kamus raksasa yang mencari jawaban jadi. Kedua, LLM juga bukan manusia kecil di dalam komputer. Ia adalah sistem matematis yang belajar pola dari data, lalu menggunakan pola itu untuk menghasilkan kelanjutan teks yang masuk akal menurut representasi internalnya.

Contoh sederhana: jika model melihat kalimat

“Ibu membeli roti di …”

kelanjutan seperti “toko” mungkin lebih masuk akal daripada “langit”. Bukan karena model memiliki pengalaman membeli roti seperti manusia, melainkan karena dalam data bahasa, pola “membeli roti di toko” jauh lebih sering dan lebih sesuai konteks daripada “membeli roti di langit”. Di model modern, prediksi semacam ini terjadi melalui perhitungan yang jauh lebih kompleks, mempertimbangkan banyak kata sebelumnya, gaya tulisan, instruksi pengguna, dan hubungan makna yang tidak selalu terlihat langsung.

Prediksi bahasa bukan hal sepele

Sekilas, “memprediksi kata berikutnya” terdengar terlalu sederhana untuk menghasilkan kecerdasan. Tetapi pikirkan kalimat berikut:

“Jika semua burung di taman itu terbang ketika kucing datang, dan Merpati A tetap diam di tanah, kemungkinan Merpati A …”

Untuk melanjutkan kalimat ini dengan baik, sistem perlu menangkap hubungan sebab-akibat sederhana. Ia perlu memahami bahwa kucing bisa membuat burung terbang, bahwa merpati adalah burung, dan bahwa “tetap diam di tanah” bertentangan dengan pola “semua burung terbang”. Kelanjutan yang masuk akal mungkin:

“… tidak termasuk kelompok burung yang dimaksud, terluka, tidak melihat kucing, atau ada informasi lain yang belum disebutkan.”

Di sini, prediksi bahasa menyentuh penalaran. Bukan berarti semua penalaran hanyalah prediksi kata. Tetapi untuk memprediksi teks manusia dengan baik, model sering perlu menangkap struktur yang kita anggap bermakna: hubungan antaride, urutan kejadian, definisi, pengecualian, tujuan, gaya, dan implikasi.

Inilah salah satu alasan LLM terasa cerdas. Ia dilatih pada bahasa manusia, dan bahasa manusia menyimpan banyak jejak pengetahuan manusia. Buku pelajaran, forum diskusi, kode komputer, artikel ilmiah, cerita, berita, dialog, dokumentasi, dan tanya jawab semuanya mengandung pola tentang dunia. Ketika model belajar memprediksi kelanjutan teks dari kumpulan data besar, ia juga belajar banyak keteraturan yang tersimpan dalam teks tersebut.

Penelitian GPT-3 menunjukkan bahwa model bahasa berskala besar dapat melakukan berbagai tugas dari contoh yang sedikit atau bahkan hanya dari instruksi dalam prompt, fenomena yang sering disebut few-shot learning dan in-context learning dalam konteks model bahasa modern (Brown et al., 2020). Kita akan membahas kemampuan semacam ini dengan hati-hati nanti, termasuk batas dan jebakannya.

Tetapi “terasa memahami” tidak selalu sama dengan “memahami seperti manusia”

Sejak awal sejarah chatbot, manusia mudah terdorong untuk memberi makna manusiawi pada respons mesin. Program ELIZA yang dibuat Joseph Weizenbaum pada 1960-an dapat meniru gaya percakapan psikoterapis Rogerian dengan aturan sederhana, dan banyak pengguna tetap merasa program itu “mengerti” mereka (Weizenbaum, 1966). Ini pelajaran penting: kesan memahami bisa muncul bahkan dari mekanisme yang tidak memiliki pengalaman subjektif.

LLM modern jauh lebih kuat daripada ELIZA. Ia tidak sekadar memakai pola aturan permukaan seperti “jika pengguna menulis X, balas Y”. Namun kewaspadaan yang sama tetap perlu. Ketika sebuah model menulis:

“Saya memahami perasaan Anda.”

kita tidak boleh langsung menyimpulkan bahwa ia memiliki perasaan atau kesadaran. Dalam konteks LLM, kalimat itu adalah keluaran bahasa yang sesuai dengan situasi percakapan. Model dapat menghasilkan respons empatik tanpa mengalami empati seperti manusia.

Ini tidak membuat LLM “tidak berguna”. Kalkulator tidak memahami bilangan seperti guru matematika, tetapi tetap berguna untuk menghitung. Peta tidak mengalami perjalanan, tetapi tetap membantu kita menemukan jalan. Demikian juga, LLM dapat sangat berguna meskipun cara kerjanya berbeda dari pikiran manusia.

Dalam buku ini, kita akan berusaha menjaga dua sikap sekaligus:

1. Tidak meremehkan: LLM benar-benar mampu membantu banyak tugas bahasa dan penalaran praktis.
2. Tidak memitoskan: LLM tetap memiliki batas, kesalahan, bias, dan mekanisme yang perlu dipahami.

Sikap ganda ini penting. Kritik terhadap model bahasa besar telah menyoroti bahwa sistem yang sangat lancar menghasilkan teks dapat membuat pengguna melebih-lebihkan pemahamannya, terutama ketika model tidak memiliki landasan langsung pada pengalaman dunia atau mekanisme verifikasi kebenaran yang kuat (Bender et al., 2021). Kita akan kembali pada isu ini saat membahas halusinasi, evaluasi, etika, dan keamanan.

Empat lapisan pemahaman

Agar perjalanan belajar terasa rapi, bayangkan LLM sebagai bangunan dengan empat lapisan.

Lapisan pertama adalah bahasa. Sebelum bicara tentang AI, kita perlu memahami bahwa bahasa adalah sistem pola. Kata memperoleh makna dari hubungan dengan kata lain, konteks penggunaan, dan kebiasaan sosial. Kata “ringan” bisa berarti tidak berat, tidak serius, mudah, atau sedikit, tergantung konteks: “tas ringan”, “cedera ringan”, “bacaan ringan”, “hujan ringan”.

Lapisan kedua adalah matematika ketidakpastian. LLM tidak biasanya memilih satu jawaban karena “pasti benar” dalam arti mutlak. Ia bekerja dengan kemungkinan. Jika Anda menulis “Jakarta adalah ibu kota …”, kelanjutan “Indonesia” memiliki peluang jauh lebih tinggi daripada “Peru”. Di sini kita akan belajar probabilitas, distribusi, dan prediksi token berikutnya tanpa rasa takut.

Lapisan ketiga adalah representasi numerik. Komputer tidak langsung memahami kata sebagai makna manusia. Komputer memproses angka. Karena itu, teks harus diubah menjadi bentuk numerik. Kita akan bertemu vektor, yaitu daftar angka yang dapat dipakai untuk mewakili posisi, arah, atau fitur. Dalam LLM, kata dan potongan teks dapat direpresentasikan sebagai vektor sehingga hubungan makna dapat dihitung. Misalnya, “dokter” dan “rumah sakit” cenderung lebih dekat secara makna daripada “dokter” dan “gunung berapi”, walaupun kedekatan ini bukan aturan tetap dan bergantung pada model serta data pelatihannya.

Lapisan keempat adalah arsitektur belajar. Di sinilah neural network dan transformer masuk. Neural network adalah sistem komputasional yang terdiri dari banyak operasi sederhana yang disusun berlapis-lapis. Transformer adalah jenis arsitektur neural network yang sangat baik dalam memproses urutan token dan menangkap hubungan antarbagian teks. Token adalah potongan teks yang dibaca model; kadang token berupa kata utuh, kadang bagian kata, kadang tanda baca, tergantung sistem tokenization yang dipakai.

Dengan empat lapisan ini, kita dapat memahami LLM tanpa harus langsung tenggelam dalam detail rumus. Kita akan mulai dari intuisi, lalu menambahkan matematika secukupnya ketika memang membantu.

Contoh kecil: dari kalimat ke mesin prediksi

Mari gunakan contoh yang sangat sederhana.

Misalkan kita punya model kecil yang hanya pernah membaca kalimat-kalimat seperti:

“Saya minum kopi pagi hari.”
“Saya minum teh sore hari.”
“Dia makan roti pagi hari.”
“Mereka minum air setelah olahraga.”

Jika kita memberi awal kalimat:

“Saya minum …”

model mungkin menilai bahwa “kopi”, “teh”, atau “air” adalah kelanjutan yang masuk akal. Ia tidak akan memilih “sepatu” jika data latih dan pola bahasanya tidak mendukung. Model sederhana mungkin hanya menghitung frekuensi. Model modern melakukan sesuatu yang jauh lebih rumit: ia melihat konteks lebih panjang, memahami gaya, memperhitungkan instruksi, membangun representasi vektor, dan memakai banyak lapisan transformer.

Tetapi benang merahnya sama: model belajar dari contoh, lalu menggunakan pembelajaran itu untuk membuat prediksi.

Sekarang tambahkan instruksi:

“Lengkapi kalimat ini dengan gaya puisi: Saya minum …”

Jawaban yang baik mungkin bukan hanya “kopi”, melainkan:

“Saya minum sunyi dari cangkir pagi.”

Di sini model tidak sekadar memilih kata yang paling umum. Ia menyesuaikan keluaran dengan permintaan gaya. Untuk melakukan ini, model perlu menghubungkan instruksi “gaya puisi” dengan pola bahasa puitis yang pernah dipelajarinya.

Contoh ini membantu kita melihat mengapa prompt penting. Prompt adalah masukan yang kita berikan kepada LLM: pertanyaan, instruksi, konteks, contoh, atau format yang diinginkan. Prompt bukan mantra. Prompt adalah cara kita memberi kondisi awal agar model menghasilkan keluaran yang lebih sesuai.

Buku ini tidak mengharuskan Anda menjadi matematikawan

Sebagian pembaca mungkin khawatir: “Apakah saya harus jago matematika?” Jawabannya: tidak untuk memulai, tetapi Anda perlu bersedia berteman dengan beberapa ide matematika dasar.

Kita akan menggunakan matematika sebagai bahasa penjelasan, bukan sebagai tembok. Ketika membahas probabilitas, kita akan mulai dari contoh sehari-hari: peluang hujan, pilihan kata, dan ketidakpastian. Ketika membahas vektor, kita akan mulai dari koordinat di peta: dua angka dapat menunjukkan posisi di permukaan datar; lebih banyak angka dapat mewakili posisi dalam ruang yang lebih abstrak. Ketika membahas gradient descent, kita akan mulai dari analogi turun bukit: jika tujuan kita mencari titik rendah, kita bergerak mengikuti arah penurunan.

Matematika dalam buku ini akan dipakai untuk menjernihkan, bukan menakut-nakuti. Anda tidak harus menghafal semua rumus. Yang lebih penting adalah memahami pertanyaan yang dijawab oleh rumus itu.

Misalnya, saat kita bertemu fungsi kerugian atau loss function, pertanyaan dasarnya sederhana:

“Seberapa salah prediksi model?”

Saat kita bertemu gradient, pertanyaannya:

“Ke arah mana parameter harus diubah agar kesalahan mengecil?”

Saat kita bertemu attention, pertanyaannya:

“Bagian mana dari konteks yang perlu diperhatikan model ketika memproses token tertentu?”

Jika Anda dapat memahami pertanyaannya, rumusnya akan terasa lebih masuk akal.

Buku ini juga tidak mengharuskan Anda menjadi programmer

Buku ini akan membahas implementasi, tetapi tidak menuntut Anda langsung menjadi insinyur machine learning. Kita akan melihat bagaimana mini-LLM dapat dibangun secara konseptual: menyiapkan data, memecah teks menjadi token, membuat model kecil, melatihnya, mengevaluasi hasilnya, lalu memakainya untuk inferensi. Inferensi berarti proses memakai model yang sudah dilatih untuk menghasilkan keluaran dari masukan baru.

Jika Anda bukan programmer, bagian implementasi tetap berguna karena memberi peta mental. Anda akan tahu bahwa ketika sebuah aplikasi AI menjawab pertanyaan, ada proses seperti tokenization, embedding, attention, sampling, dan filtering di belakangnya. Anda mungkin tidak menulis semua kode, tetapi Anda memahami arsitekturnya.

Jika Anda programmer, buku ini dapat menjadi jembatan dari “memakai API” menuju “memahami sistem”. Anda akan lebih siap membaca dokumentasi, memilih model, merancang prompt, membuat RAG, mengevaluasi jawaban, dan memahami trade-off antara kualitas, biaya, kecepatan, dan keamanan.

Dari penggunaan sehari-hari ke pemahaman mendalam

Mari ambil situasi nyata. Anda meminta LLM:

“Tolong buatkan email profesional untuk menolak tawaran kerja dengan sopan.”

Model menghasilkan email yang terdengar baik. Dari sisi pengguna, ini tampak seperti bantuan menulis. Tetapi dari sisi konsep, banyak hal terjadi:

• Teks Anda dipecah menjadi token.
• Token diubah menjadi representasi numerik.
• Model memperhitungkan hubungan antarbagian instruksi: “email”, “profesional”, “menolak”, “tawaran kerja”, “sopan”.
• Model menghasilkan token demi token.
• Sistem mungkin memakai aturan keamanan atau penyesuaian tambahan agar jawaban lebih aman, sopan, dan berguna.

Dalam bab-bab berikutnya, kita akan membuka proses ini satu per satu. Ketika semua bagian mulai tersambung, LLM tidak lagi terasa seperti kotak hitam yang sepenuhnya misterius. Ia tetap kompleks, tetapi kompleksitasnya menjadi dapat dipetakan.

Kotak hitam adalah istilah untuk sistem yang masukan dan keluarannya dapat kita amati, tetapi proses internalnya sulit dipahami. Banyak LLM modern memang memiliki unsur kotak hitam karena jumlah parameter dan interaksi internalnya sangat besar. Namun “sulit dipahami” tidak berarti “mustahil dijelaskan sama sekali”. Kita dapat memahami prinsip kerjanya, komponen utamanya, pola kegagalannya, dan cara mengevaluasinya.

Cara membaca perjalanan ini

Buku ini disusun seperti pendakian bertahap.

Pada awalnya, kita akan membahas pertanyaan paling manusiawi: mengapa LLM terasa cerdas? Lalu kita akan mundur ke dasar: bahasa sebagai sistem pola, perubahan dari aturan manual ke pembelajaran mesin, dan probabilitas sebagai cara menghadapi ketidakpastian.

Setelah itu, kita masuk ke representasi: vektor, embedding, neural network, loss, gradient, dan backpropagation. Bagian ini adalah fondasi teknis. Jangan terburu-buru. Jika suatu konsep terasa asing, itu wajar. Banyak ide yang awalnya sulit akan menjadi jelas setelah bertemu contoh kedua atau ketiga.

Kemudian kita masuk ke jantung LLM modern: tokenization, transformer, attention, dan isi satu lapisan transformer. Di sinilah Anda akan mulai melihat “mesin utama” di balik model seperti ChatGPT, Claude, Gemini, Grok, Kimi, dan DeepSeek.

Setelah memahami mesin dasarnya, kita akan membahas proses pembentukan perilaku: pretraining, fine-tuning, instruction tuning, RLHF, dan metode terkait. RLHF, atau reinforcement learning from human feedback, adalah pendekatan untuk menyesuaikan model berdasarkan preferensi manusia. Intinya, model tidak hanya belajar “teks apa yang mungkin muncul”, tetapi juga belajar “jawaban seperti apa yang lebih disukai atau dianggap membantu oleh manusia”.

Lalu kita masuk ke kemampuan dan keterbatasan: mengapa LLM bisa tampak bernalar, menulis kode, menjawab ujian, tetapi juga bisa berhalusinasi. Halusinasi dalam konteks LLM berarti keluaran yang terdengar meyakinkan tetapi tidak benar atau tidak didukung oleh sumber yang memadai. Istilah ini bukan berarti model mengalami halusinasi seperti manusia; ini istilah teknis populer untuk jenis kesalahan tertentu.

Akhirnya, kita membahas penggunaan lanjutan: prompting, RAG, tool use, agent, multimodal AI, mini-LLM konseptual, evaluasi, etika, keamanan, dan masa depan.

Keterampilan utama yang ingin dibangun

Setelah membaca buku ini, Anda diharapkan memiliki empat keterampilan.

Pertama, memahami. Anda dapat menjelaskan dengan bahasa sendiri apa itu LLM, bagaimana ia dilatih, mengapa transformer penting, dan mengapa model bisa salah. Anda tidak hanya mengulang istilah populer.

Kedua, menggunakan. Anda dapat membuat prompt yang lebih jelas, memberi konteks yang cukup, meminta format keluaran, memecah tugas besar menjadi langkah kecil, dan memeriksa jawaban dengan kritis.

Ketiga, menilai. Anda dapat membedakan jawaban yang tampak bagus dari jawaban yang benar-benar dapat dipercaya. Anda tahu kapan perlu mencari sumber, kapan perlu memakai RAG, kapan perlu kalkulator atau alat eksternal, dan kapan sebaiknya tidak menyerahkan keputusan kepada AI.

Keempat, membangun secara konseptual. Anda memahami komponen sistem LLM: data, tokenization, embedding, model, pelatihan, inferensi, evaluasi, dan integrasi dengan alat. Bahkan jika Anda tidak langsung membangun model besar, Anda punya peta untuk belajar lebih lanjut.

Sikap belajar yang paling berguna

Dalam mempelajari LLM, ada satu sikap yang sangat membantu: penasaran tanpa mudah percaya.

Ketika model menjawab dengan lancar, tanyakan:

“Dari mana informasi ini berasal?”
“Apakah jawaban ini masuk akal?”
“Apakah ada bagian yang perlu diverifikasi?”
“Apakah model sedang menjawab pertanyaan saya, atau hanya membuat teks yang terdengar seperti jawaban?”
“Apakah saya memberi konteks yang cukup?”

Ketika model salah, jangan langsung menyimpulkan bahwa teknologi ini tidak berguna. Tanyakan:

“Jenis kesalahan apa ini?”
“Apakah prompt saya ambigu?”
“Apakah pertanyaannya membutuhkan informasi terbaru?”
“Apakah model memerlukan dokumen sumber?”
“Apakah tugas ini lebih cocok dikerjakan dengan alat lain?”

Kecerdasan dalam memakai LLM bukan berarti selalu mendapatkan jawaban instan. Kecerdasan itu terlihat ketika kita tahu cara bertanya, cara memeriksa, cara memperbaiki, dan cara memutuskan kapan harus percaya atau tidak percaya.

Mengapa buku ini dimulai dari prinsip pertama?

Banyak orang mulai belajar LLM dari daftar alat: model mana yang paling bagus, prompt mana yang paling ampuh, aplikasi mana yang sedang populer. Itu berguna, tetapi cepat usang. Model berubah. Antarmuka berubah. Harga berubah. Fitur berubah.

Prinsip pertama lebih tahan lama.

Jika Anda memahami probabilitas, Anda akan lebih mudah memahami mengapa model memilih keluaran tertentu. Jika Anda memahami embedding, Anda akan lebih mudah memahami pencarian semantik dan RAG. Jika Anda memahami attention, Anda akan lebih mudah memahami mengapa konteks panjang penting. Jika Anda memahami fine-tuning dan RLHF, Anda akan lebih mudah memahami mengapa model mentah berbeda dari asisten yang sopan dan patuh instruksi.

Belajar dari prinsip pertama bukan berarti belajar dengan lambat. Justru ini sering menjadi jalan tercepat menuju pemahaman yang tidak rapuh.

Sebuah janji kecil

Buku ini akan berusaha tidak menjadikan LLM sebagai sihir. Kita akan membuka konsepnya pelan-pelan. Kita akan memakai contoh. Kita akan membedakan hal yang diketahui, hal yang masih diperdebatkan, dan hal yang sering dilebih-lebihkan. Kita akan menghormati keajaiban praktisnya tanpa kehilangan ketelitian.

Jika Anda datang dari luar ilmu komputer atau matematika, Anda tetap berada di tempat yang tepat. Bahasa adalah milik semua orang. Ketidakpastian adalah bagian dari hidup semua orang. Pola, makna, kesalahan, dan keputusan adalah pengalaman sehari-hari. LLM memang teknologi canggih, tetapi pintu masuk untuk memahaminya ada sangat dekat dengan kehidupan kita: kalimat yang belum selesai, pertanyaan yang ingin dijawab, dan kebutuhan untuk berpikir lebih jernih.

Mari mulai dari pertanyaan pertama:

Mengapa LLM terasa cerdas?

Itulah pintu Bab 1.

References

Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 610–623).

Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N., Chen, A., Creel, K., Davis, J. Q., Demszky, D., … Liang, P. (2021). On the Opportunities and Risks of Foundation Models. arXiv:2108.07258.

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., Neelakantan, A., Shyam, P., Sastry, G., Askell, A., Agarwal, S., Herbert-Voss, A., Krueger, G., Henighan, T., Child, R., Ramesh, A., Ziegler, D. M., Wu, J., Winter, C., … Amodei, D. (2020). Language Models are Few-Shot Learners. In Advances in Neural Information Processing Systems 33 (pp. 1877–1901).

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., & Polosukhin, I. (2017). Attention Is All You Need. In Advances in Neural Information Processing Systems 30.

Weizenbaum, J. (1966). ELIZA—A Computer Program for the Study of Natural Language Communication Between Man and Machine. Communications of the ACM, 9(1), 36–45.