Implementasi Arsitektur Transformer GPT-2 untuk Prediksi Kata Selanjutnya pada Teks Resep Masakan Indonesia

Abstract

Pemrosesan bahasa alami untuk domain spesifik memerlukan model yang mampu memahami struktur kalimat yang unik dan kosakata informal. Penelitian ini mengimplementasikan arsitektur Transformer bergaya GPT-2 yang dibangun dari awal untuk tugas prediksi kata selanjutnya (next-word prediction) pada teks resep masakan Indonesia. Dataset yang digunakan terdiri dari 14.945 resep masakan, yang ditokenisasi menggunakan metode SentencePiece Byte Pair Encoding (BPE) dengan vocabulary size sebanyak 8.000 token. Model causal language yang diusulkan memiliki 4 blok transformer, 4 attention heads, dan dimensi embedding sebesar 256, dengan total sekitar 5,26 juta parameter yang dapat dilatih. Proses pelatihan dilakukan menggunakan optimizer AdamW selama 30 epoch. Evaluasi pada data Data uji (test set) menghasilkan nilai cross-entropy loss sebesar 2,8471 dan perplexity sebesar 17,24. Selain itu, model ini berhasil mencapai akurasi Top-1 sebesar 40,07% dan akurasi Top-5 sebesar 67,72%. Pengujian decoding interaktif menggunakan strategi greedy, top-k, dan nucleus sampling menunjukkan kemampuan model yang baik dalam menghasilkan instruksi langkah memasak yang relevan secara kontekstual. Hasil ini menunjukkan bahwa arsitektur GPT-2 berskala kecil sangat efektif untuk tugas pembuatan teks yang spesifik pada domain tertentu.   Kata kunci - Prediksi Kata Selanjutnya, GPT-2, Transformer, Byte Pair Encoding, Resep Masakan