Automated Essay Scoring Berbahasa Indonesia Menggunakan Hybrid Retrieval-Augmented Generation dan Contrastive In-Context Learning

Abstract

Automated Essay Scoring (AES) untuk pendidikan biologi berbahasa Indonesia masih menghadapi tantangan akibat keterbatasan dataset beranotasi serta ketidakmampuan model encoder-only dalam mengaitkan proses penilaian dengan materi kurikulum. Meskipun Large Language Models (LLM) memiliki kemampuan generatif yang baik, penerapannya secara langsung masih menghadapi permasalahan halusinasi dan ketidaksesuaian dengan standar penilaian guru. Penelitian ini mengusulkan pipeline AES yang mengintegrasikan Hybrid Retrieval-Augmented Generation (RAG) dengan Question-Anchored Contrastive In-Context Learning (CICL). Hybrid retriever yang digunakan mengombinasikan sparse retrieval BM25, dense retrieval berbasis IndoBERT, serta automated keyword boosting. Studi ablasi terhadap 16 konfigurasi pada 312 esai biologi siswa sekolah menengah dilakukan untuk membandingkan paradigma zero-shot (Ollama) dan parameter-efficient fine-tuning (LoRA). Hasil menunjukkan bahwa penggabungan sederhana pada Hybrid RAG menyebabkan dilusi konteks. Kondisi ini membuat CICL berfungsi sebagai jangkar rubrik yang penting bagi model zero-shot (QWK = 0,7914). Temuan menarik mengungkap sebuah perbedaan perilaku: meskipun CICL meningkatkan kinerja model zero-shot, mekanisme ini justru bertindak sebagai informasi redundan yang menurunkan akurasi pada model LoRA (QWK = 0,8554) yang telah memiliki representasi internal. Temuan ini memberikan panduan empiris mengenai kapan penggunaan RAG dan CICL diperlukan dan kapan fine-tuning lebih sesuai untuk domain spesifik berbahasa Indonesia.   Kata Kunci - Automated Essay Scoring, Retrieval-Augmented Generation, Contrastive In-Context Learning, LoRA, Hybrid Retrieval, Pendidikan Biologi