Penilaian Esai Pendek Otomatis dengan Pencocokan Kata Kunci Frasa Nomina

Abstract

Pembelajaran daring menjadi suatu kebutuhan dalam pengajaran baik dalam memberikan materi maupun ujian. Ujian dalam bentuk soal objektif kurang dapat mengukur kemampuan pemahaman seseorang dan soal esai dianggap lebih baik untuk mengevaluasi hasil pembelajaran. Namun, jawaban berbentuk esai memerlukan waktu yang lebih banyak untuk dilakukan penilaian serta hasil penilaiannya dapat inkonsisten. Maka dari itu, diperlukan suatu sistem penilaian esai otomatis yang dapat menilai esai dengan lebih cepat dan konsisten. Penelitian ini dilakukan untuk menganalisis performa penilain esai otomatis dengan mengekstrak kata kunci dari frasa nomina dalam jawaban berbentuk esai pendek. Penilaian esai dilakukan dengan mencocokkan kata kunci yang diekstrak dari jawaban uji dan jawaban referensi. Jawaban uji dan referensi diproses dengan case folding, Part of Speech (POS) Tagging, ekstraksi frasa nomina, dan stemming. Kata kunci unik jawaban uji dan jawaban referensi yang diperoleh dari proses tersebut selanjutnya dicocokkan dan kemudian dinilai berdasarkan kecocokan tersebut. Hasil evaluasi penelitian ini menunjukkan Mean Absolute Error (MAE) dari nilai yang diperoleh dengan mencocokkan kata kunci dengan nilai uji yang diberikan manusia sebesar 18% dan Pearson Correlation sebesar 0.83 yang menunjukkan korelasi antara nilai sistem dan nilai uji sangat baik.