Pencocokan Berbasis Kata Kunci pada Penilaian Esai Pendek Otomatis Berbahasa Indonesia

Nurul Chamidah; Mayanda Mega Santoni

doi:10.33633/tc.v20i1.4115

Pencocokan Berbasis Kata Kunci pada Penilaian Esai Pendek Otomatis Berbahasa Indonesia

Nurul Chamidah, Mayanda Mega Santoni

Abstract

Evaluasi dalam pengajaran dapat dilakukan melalui ujian. Ujian berupa esai dapat digunakan untuk mengevaluasi pemahaman sesuai konteks dan memiliki jawaban referensi. Sayangnya, jawaban dari esai ini membutuhkan waktu yang lebih banyak untuk dievaluasi dan dapat terjadi inkonsistensi dalam melakukan penilaian. Penelitian ini dilakukan untuk menganalisis performa untuk penilaian esai pendek otomatis berbahasa Indonesia untuk mengevaluasi jawaban yang berbentuk esai pendek. Sehingga, penilaian terhadap jawaban esai lebih konsisten dan dapat digunakan sebagai alternatif untuk penilaian dalam ujian online. Penilaian esai dilakukan dengan menghitung kecocokan antara jawaban uji dengan jawaban referensi, yakni dengan meilhat kata kunci dari masing-masing jawaban. Kata kunci diperoleh dengan melakukan praproses pada teks yakni dengan case folding, pembuangan stopword, stemming, dan tokenisasi. Setelah mendapatkan kata kunci untuk jawaban uji dan jawaban referensi, pada tahap keyword matching dilakukan pencocokan jawaban uji terhadap jawaban referensi. Hasil kecocokan antara jawaban uji dan referensi selanjutnya dihitung menjadi nilai pada tahapan grading. Nilai yang diperoleh dari grading selanjutnya dibandingkan dengan nilai uji sebagai evaluasi performa dengan menghitung Mean Absolute Error (MAE) dan Pearson Correlation. Hasil dari penelitian ini menunjukkan MAE untuk keseluruhan jawaban uji sebesar 0.25 dan korelasi antara nilai uji dengan nilai hasil grading sebesar 0.79.

Keywords

Penilaian Otomatis; Esai; Esai Pendek; Pencocokan Kata Kunci

Full Text:

PDF

References

H. Rababah and A. T. Al-Taani, “An automated scoring approach for Arabic short answers essay questions,” in ICIT 2017 - 8th International Conference on Information Technology, Proceedings, 2017, pp. 697–702.

R. Adhitia and A. Purwarianti, “PENILAIAN ESAI JAWABAN BAHASA INDONESIA MENGGUNAKAN METODE SVM - LSA DENGAN FITUR GENERIK,” J. Sist. Inf., vol. 5, no. 1, p. 33, Jul. 2012.

S. Roy, Y. Narahari, Y. Narahari, and O. D. Deshmukh, “A Perspective on Computer Assisted Assessment Techniques for Short Free-Text Answers Melding Game Theory with Machine Learning View project Fair Allocation of Indivisible Goods View project A Perspective on Computer Assisted Assessment Techniques for Short Free-text Answers,” Springer, vol. 571, pp. 96–109, 2015.

H. Yannakoudakis, T. Briscoe, and B. Medlock, “A new dataset and method for automatically grading ESOL texts,” in ACL-HLT 2011 - Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, 2011, vol. 1, pp. 180–189.

A. Suresh and M. Jha, “Automated Essay Grading using Natural Language Processing and Support Vector Machine,” IJCAT-International J. Comput. Technol., vol. 5, no. 2, pp. 5–8, 2018.

F. Rahutomo et al., “Open Problems in Indonesian Automatic Essay Scoring System,” Int. J. Eng. Technol., vol. 7, no. 4.44, p. 156, Dec. 2018.

R. B. Aji, Z. A. Baisal, and Y. Firdaus, “Automatic Essay Grading System Menggunakan Metode Latent Semantic Analysis E-78 E-79,” Semin. Nas. Apl. Teknol. Inf., vol. 2011, no. Snati, pp. 1–9, 2011.

J. Zeniarja, A. Salam, and I. Achsanu, “Sistem Koreksi Jawaban Esai Otomatis (E-Valuation) dengan Vector Space Model pada Computer Based Test (CBT),” Seri Pros. Semin. Nas. Din. Inform., vol. 4, no. 1, Apr. 2020.

M. Jamaluddin, N. Yuniarti, A. Rahmani, and J. Hutahaean, “Aplikasi Penilaian Otomatis Ujian Esai Berbahasa Indonesia Menggunakan Algoritma K-Nearest Neighbor ( Studi kasus MAN Cimahi ),” Pros. Ind. Res. Work. Natl. Semin., vol. 10, no. August 2019, pp. 314–324, Aug. 2020.

F. Rahutomo, Y. P. Putra, and M. H. Ali, “Implementasi Manhattan Distance dan Dice Similarity pada Ujian Esai Daring Berbahasa Indonesia,” Semin. Inform. Apl. Polinema, pp. 171–174, 2019.

F. Pratama, “Rancang Bangun Aplikasi Peringkas Tkes Otomatis Artikel Berbahasa Indonesia Mengunakan Metode Term Frequency Inverse Document Frequency (TF-IDF) dan K-mean Clustering,” Fak. Sains dan Teknol., Apr. 2014.

S. Vijayarani, M. J. Ilamathi, and M. Nithya, “Preprocessing techniques for text mining-an overview,” Int. J. Comput. Sci. Commun. Networks, vol. 5, no. 1, pp. 7–16, 2015.

F. Z. Tala, “A Study of Stemming Effects on Information Retrieval in Bahasa Indonesia,” M.Sc. Thesis, Append. D, vol. pp, pp. 39–46, 2003.

D. Wahyudi, T. Susyanto, and D. Nugroho, “Implementasi dan Analisis Algoritma Stemming Nazief & Adriani dan Porter pada Dokumen Berbahasa Indonesia,” J. Ilm. SINUS, vol. 15, no. 2, 2017.

A. Sukma, B. Zaman, and E. Purwanti, “Information Retrieval Document Classified with K-Nearest Neighbor,” Rec. Libr. J., vol. 1, no. 2, p. 129, Jan. 2018.

J. Han, M. Kamber, and J. Pei, Data Mining: Concepts and Techniques. 2012.

G. Brassington, “Mean absolute error and root mean square error: which is the better metric for assessing model performance?,” Geophys. Res. Abstr., vol. 19, pp. 2017–3574, 2017.

T. F. de C. Marshall and J. L. Fleiss, “Statistical Methods for Rates and Proportions.,” Stat., vol. 25, no. 1, p. 70, 1976.

DOI: https://doi.org/10.33633/tc.v20i1.4115