Token, Context, dan Attention: Dasar LLM yang Perlu Dipahami
Token, context, dan attention adalah salah satu fondasi penting dalam belajar AI engineering. Materi ini disusun ulang dalam bahasa Indonesia dari gagasan besar kurikulum AI Engineering from Scratch: memahami konsep dari dasar, mengerti alasan matematisnya, lalu baru memakai framework atau tools modern.
LLM tidak membaca teks seperti manusia membaca paragraf. Teks diubah menjadi token, token diproses dalam batas context window, lalu attention membantu model menentukan bagian mana yang paling relevan. Tiga konsep ini sangat menentukan kualitas jawaban AI.
Kenapa materi ini penting?
Jika tidak memahami token dan context, Anda bisa salah menulis prompt. Prompt yang terlalu panjang bisa mahal, lambat, atau membuat informasi penting tenggelam. Attention membantu model fokus, tetapi bukan berarti model selalu memahami semua detail dengan sempurna.
Cara kerjanya secara sederhana
Token adalah potongan teks. Context window adalah ruang kerja sementara model. Attention adalah mekanisme yang memberi bobot hubungan antar token. Ketiganya bekerja bersama saat model memprediksi token berikutnya dan membangun jawaban secara bertahap.
Hal utama yang perlu dipahami
- Token memengaruhi biaya dan batas input.
- Context window menentukan seberapa banyak informasi bisa dibawa dalam satu percakapan.
- Attention membantu model mencari hubungan antar bagian teks.
- Informasi yang relevan sebaiknya diletakkan dekat dengan instruksi utama.
- Prompt yang ringkas dan terstruktur biasanya lebih mudah diproses.
Kesalahan umum pemula
- Mengira satu kata selalu sama dengan satu token.
- Menaruh instruksi penting di tengah teks panjang tanpa struktur.
- Memasukkan semua dokumen sekaligus tanpa memilih bagian relevan.
- Menganggap context panjang otomatis membuat jawaban lebih akurat.
Contoh penggunaan nyata
Konsep ini berguna saat membuat chatbot, sistem tanya jawab dokumen, atau prompt kerja harian. Dengan memahami token dan context, Anda bisa mengatur input lebih hemat dan mengurangi risiko jawaban melenceng.
Latihan kecil
Ambil satu artikel pendek, lalu ringkas menjadi prompt 100 kata. Setelah itu buat versi 300 kata. Bandingkan hasil jawaban model. Perhatikan apakah informasi tambahan benar-benar membantu atau malah membuat instruksi menjadi kabur.
Ringkasan
Untuk belajar AI dengan kuat, jangan hanya menghafal istilah. Coba pahami input, proses, output, dan cara mengevaluasi hasilnya. Pendekatan seperti ini membuat Anda lebih siap saat nanti memakai model besar, membangun RAG, melakukan fine-tuning, atau membuat agent yang menjalankan tugas bertahap.
Apa itu token dalam AI?
<p>Token adalah unit terkecil yang diproses oleh model bahasa. Sebuah kata bisa dipecah menjadi satu token, atau kata yang jarang muncul bisa dipecah menjadi beberapa token. Misalnya, kata "kecerdasan" mungkin menjadi token ["kec", "erdas", "an"]. Pemahaman tentang token penting karena memengaruhi konteks yang bisa ditangani model. Semakin panjang token yang bisa diproses, semakin besar konteks yang bisa dipahami model dalam satu waktu.</p>
Apa itu context window?
<p>Context window adalah jumlah maksimal token yang bisa diproses model dalam satu sesi. Model dengan context window 128K token bisa memproses dokumen sepanjang ratusan halaman sekaligus. Model yang lebih baru seperti GPT-5.5 dan Claude Opus 4.7 punya context window hingga 200K token. Ini penting untuk aplikasi seperti analisis dokumen panjang, percakapan berkelanjutan, atau kode program yang besar.</p>
Apa itu attention mechanism?
<p>Attention adalah mekanisme yang memungkinkan model memilih bagian mana dari input yang paling relevan untuk menghasilkan output. Bayangkan kamu membaca paragraf panjang dan secara alami fokus pada kalimat tertentu. Itulah yang dilakukan attention secara matematis. Ada beberapa jenis attention seperti self-attention, cross-attention, dan multi-head attention. Masing-masing punya peran dalam memahami hubungan antar kata dalam teks.</p>
Kesalahan umum pemula
<p>Banyak pemula mengira context window yang besar selalu lebih baik. Faktanya, context window besar juga berarti biaya komputasi lebih tinggi dan kemungkinan model "kehilangan fokus" pada informasi penting di tengah banyaknya token. Strategi yang lebih baik adalah memberikan konteks yang relevan dan tidak berlebihan. Jangan memasukkan seluruh dokumen jika yang dibutuhkan hanya beberapa paragraf kunci.</p>
Latihan kecil
<p>Coba buka katalog AIEngineeringFromScratch dan pelajari bagian tokenizer dan attention. Tulis fungsi tokenizer sederhana dalam Python yang bisa memecah kalimat bahasa Indonesia menjadi token berdasarkan spasi dan tanda baca. Setelah itu, hitung berapa token yang dibutuhkan untuk sebuah paragraf pendek. Latihan ini membantu kamu memahami hubungan antara panjang teks dan jumlah token.</p>
Hubungan Token dengan Biaya API
Pemahaman tentang token sangat krusial saat menggunakan API model seperti GPT, Claude, atau Gemini. Setiap API call dikenakan biaya per token, baik input maupun output. Memilih model dengan tokenizer yang efisien untuk bahasa Indonesia bisa menghemat biaya operasional secara signifikan. Misalnya, beberapa model mungkin membutuhkan 20% lebih banyak token untuk teks bahasa Indonesia dibanding bahasa Inggris. Ini berarti biaya 20% lebih tinggi hanya karena perbedaan tokenizer. Selalu periksa bagaimana model memproses teks dalam bahasa target Anda.
Cara Kerja Multi-Head Attention
Multi-head attention bekerja dengan menjalankan beberapa mekanisme attention secara paralel. Setiap head memiliki bobot query, key, dan value yang berbeda. Satu head mungkin fokus pada hubungan subjek-predikat, head lain pada hubungan kata sifat-kata benda, dan head lain pada konteks jarak jauh. Output dari semua head digabungkan dan diproyeksikan kembali ke dimensi asli. Inilah yang membuat transformer bisa menangkap berbagai jenis hubungan linguistik secara bersamaan. Jumlah head bervariasi antar model, dari 12 head pada model kecil hingga 96+ head pada model besar.
Praktik Tokenisasi untuk Pengembang Indonesia
Sebagai pengembang Indonesia, penting untuk menguji bagaimana berbagai tokenizer bekerja dengan teks bahasa Indonesia. Coba tokenisasi kalimat seperti 'Pemerintah telah mempertanggungjawabkan kebijakannya kepada rakyat.' menggunakan tokenizer GPT-4 dan bandingkan dengan Claude. Anda akan melihat perbedaan jumlah token yang signifikan. Latihan ini membantu Anda memilih model yang paling efisien untuk aplikasi bahasa Indonesia dan mengoptimalkan biaya penggunaan API.
Kesimpulan dan Langkah Selanjutnya
Pemahaman tentang token, context, dan attention adalah fondasi yang tidak bisa dilewatkan. Ketiga konsep ini saling terkait: tokenizer memecah teks, attention memproses hubungan antar token, dan context window membatasi jumlah token yang bisa diproses. Untuk melanjutkan, pelajari implementasi attention di AIEngineeringFromScratch fase 4-5, lalu praktikkan dengan membuat kode attention sederhana. Pastikan juga kamu mengerti bagaimana pemilihan tokenizer mempengaruhi kualitas model.
class=”wp-block-heading”>SumberAI Engineering from Scratch · Referensi kurikulum
Penjelasan Tambahan untuk Pemula
Jika Anda baru belajar AI, jangan mencoba memahami semuanya sekaligus. Fokuslah pada konsep inti: AI membantu memproses informasi, membuat prediksi, menghasilkan teks/gambar/kode, dan membantu mengambil langkah berdasarkan instruksi. Semakin jelas instruksi yang diberikan, semakin besar peluang AI menghasilkan output yang berguna.
Belajar AI paling efektif dilakukan lewat praktik kecil. Pilih satu kebutuhan nyata, misalnya meringkas artikel, membuat jadwal belajar, menyusun email, membuat ide konten, atau memahami kode sederhana. Setelah itu bandingkan hasil AI dengan pengetahuan Anda sendiri dan perbaiki prompt secara bertahap.
Latihan Praktis
- Minta AI menjelaskan topik ini untuk anak SMA.
- Minta AI membuat contoh penggunaan dalam pekerjaan sehari-hari.
- Minta AI membuat tabel kelebihan dan kekurangan.
- Minta AI membuat 5 pertanyaan kuis untuk menguji pemahaman Anda.
- Minta AI mengubah penjelasan menjadi langkah praktis.
Latihan seperti ini membantu Anda memahami bukan hanya jawaban AI, tetapi juga cara mengarahkan AI agar lebih bermanfaat.
Tips Belajar Berkelanjutan
Catat prompt yang berhasil, simpan contoh output yang bagus, dan perhatikan pola instruksi yang membuat jawaban lebih akurat. Jangan terlalu cepat berganti tools. Kuasai dasar penggunaan satu atau dua tools terlebih dahulu, lalu baru eksplorasi tools lain sesuai kebutuhan.
Penjelasan Tambahan untuk Pemula
Jika Anda baru belajar AI, jangan mencoba memahami semuanya sekaligus. Fokuslah pada konsep inti: AI membantu memproses informasi, membuat prediksi, menghasilkan teks/gambar/kode, dan membantu mengambil langkah berdasarkan instruksi. Semakin jelas instruksi yang diberikan, semakin besar peluang AI menghasilkan output yang berguna.
Belajar AI paling efektif dilakukan lewat praktik kecil. Pilih satu kebutuhan nyata, misalnya meringkas artikel, membuat jadwal belajar, menyusun email, membuat ide konten, atau memahami kode sederhana. Setelah itu bandingkan hasil AI dengan pengetahuan Anda sendiri dan perbaiki prompt secara bertahap.
Latihan Praktis
- Minta AI menjelaskan topik ini untuk anak SMA.
- Minta AI membuat contoh penggunaan dalam pekerjaan sehari-hari.
- Minta AI membuat tabel kelebihan dan kekurangan.
- Minta AI membuat 5 pertanyaan kuis untuk menguji pemahaman Anda.
- Minta AI mengubah penjelasan menjadi langkah praktis.
Latihan seperti ini membantu Anda memahami bukan hanya jawaban AI, tetapi juga cara mengarahkan AI agar lebih bermanfaat.
Tips Belajar Berkelanjutan
Catat prompt yang berhasil, simpan contoh output yang bagus, dan perhatikan pola instruksi yang membuat jawaban lebih akurat. Jangan terlalu cepat berganti tools. Kuasai dasar penggunaan satu atau dua tools terlebih dahulu, lalu baru eksplorasi tools lain sesuai kebutuhan.
Lanjut Belajar AI
Jika artikel ini membantu, lanjutkan ke materi terstruktur agar pemahaman AI lebih rapi dan praktis.
