Analisis Perbandingan Performa Metode Klasifikasi pada Dataset Multiclass Citra Busur Panah

Huzain Azis; Fadhila Tangguh Admojo; Erma Susanti

doi:10.33633/tc.v19i3.3646

Analisis Perbandingan Performa Metode Klasifikasi pada Dataset Multiclass Citra Busur Panah

Huzain Azis, Fadhila Tangguh Admojo, Erma Susanti

Abstract

Pengujian performa berbagai metode pada sebuah dataset merupakan salah satu cara dalam penetapan metode klasifikasi yang tepat, masalah yang diangkat pada penelitian ini adalah bagaimana membandingkan performa beberapa metode klasifikasi dalam mengelola dataset yang memiliki lebih dari dua label (multiclass). Penelitian ini fokus membandingkan hasil performa tujuh metode klasifikasi yaitu K-Nearest Neighbor (knn), Naive Bayes Classifier (nbc), Support Vector machine (svm), Neural Netowork (nn), Random Forest Classifier (rfc), Ada Boost Classifier (abc) dan Quadratic Discriminant Analysis (qdc). Objek pada penelitian ini berupa dataset multiclass yaitu dataset citra busur panah, serta performa yang diukur yaitu seluruh nilai cross-validation dari akurasi, presisi, recall dan f-measure. Hasil pada penelitian ini menunjukkan bahwa seluruh metode tidak memperoleh performa yang cukup baik, dan menunjukkan bahwa beberapa metode yang memiliki akurasi yang tinggi tidak menjadi penentu menjadi metode yang baik dikarenakan setelah penerapan cross-validation dan visualisasi boxplot ditemukan beberapa nilai akurasi tinggi yang merupakan nilai tidak wajar atau outlier. Kesimpulan menunjukkan metode svm memiliki performa yang lebih baik dibandingkan dengan enam metode lainnya pada kasus dataset multiclass citra busur panah.

Keywords

analisis performa; klasifikasi; dataset multiclass; cross-validation; perbandingan metode

Full Text:

PDF

References

N. Fadhillah, H. Azis, and D. Lantara, “Validasi Pencarian Kata Kunci Menggunakan Algoritma Levenshtein Distance Berdasarkan Metode Approximate String Matching,” Pros. Semin. Nas. Ilmu Komput. dan Teknol. Inf., vol. 3, no. 2, pp. 3–7, 2018

Hasran, “Klasifikasi Penyakit Jantung Menggunakan Metode K-Nearest Neighbor,” Indones. J. Data Sci., vol. 1, no. 1, pp. 1–4, 2020.

M. M. Baharuddin, T. Hasanuddin, and H. Azis, “Analisis Performa Metode K-Nearest Neighbor untuk Identifikasi Jenis Kaca,” Ilk. J. Ilm., vol. 11, no. 28, pp. 269–274, 2019.

A. Ilham, “Komparasi Algoritma Klasifikasi Dengan Pendekatan Level Data Untuk Menangani Data Kelas Tidak Seimbang,” J. Ilm. Ilmu Komput., vol. 3, no. 1, pp. 9–14, 2017.

M. Yusa, E. Utami, and E. T. Luthfi, “Analisis Komparatif Evaluasi Performa Algoritma Klasifikasi pada Readmisi Pasien Diabetes,” J. Buana Inform., vol. 7, no. 4, pp. 293–302, 2016, doi: 10.24002/jbi.v7i4.770.

Rizky Ade Putranto, Triastiti Wuryandari, and Sudarno, “Perbandingan Analisis Klasifikasi Antara Decision Tree Dan Support Vector Machine Multiclass Untuk Penentuan Jurusan Pada Siswa Sma,” J. Gaussian, vol. 4, no. 4, pp. 1007–1016, 2015.

Y. Lukito and A. R. Chrismanto, “Perbandingan Metode-Metode Klasifikasi untuk Indoor Positioning System,” J. Tek. Inform. dan Sist. Inf., vol. 1, no. 2, pp. 123–131, 2015, doi: 10.28932/jutisi.v1i2.373.

S. Niu, J. Yang, S. Wang, and G. Chen, “Improvement and parallel implementation of canny edge detection algorithm based on GPU,” Proc. Int. Conf. ASIC, no. 6, pp. 641–644, 2011, doi: 10.1109/ASICON.2011.6157287.

W. Ye, Y. Xia, and Q. Wang, “An Improved Canny Algorithm for Edge Detection,” J. Comput. Inf. Syst., vol. 75, pp. 1516–1523, 2011, doi: 10.1109/WCSE.2009.718.

T. F. Wu, C. J. Lin, and R. C. Weng, “Probability estimates for multi-class classification by pairwise coupling,” J. Mach. Learn. Res., vol. 5, pp. 975–1005, 2004.

K. Crammer, “On the algorithmic implementation of multiclass kernel-based vector machines,” J. Mach. Learn. Res. - JMLR, vol. 2, no. 2, pp. 265–292, 2002.

M. J. Hartmann and G. Carleo, “Neural-Network Approach to Dissipative Quantum Many-Body Dynamics,” Phys. Rev. Lett., vol. 122, no. 25, p. 250502, Jun. 2019, doi: 10.1103/PhysRevLett.122.250502.

B. Gao and L. Pavel, “On the Properties of the Softmax Function with Application in Game Theory and Reinforcement Learning,” 2017.

H. Zhang, “The optimality of Naive Bayes,” Proc. Seventeenth Int. Florida Artif. Intell. Res. Soc. Conf. FLAIRS 2004, vol. 2, pp. 562–567, 2004.

V. Metsis, I. Androutsopoulos, and G. Paliouras, “Spam filtering with Naive Bayes - Which Naive Bayes?,” 3rd Conf. Email Anti-Spam - Proceedings, CEAS 2006, 2006.

M. Christopher, P. Raghavan, and H. Schutze, An Introduction to Information Retrieval. Cambridge University Press, 2009.

Y. L. Pavlov, “Random forests,” Random For., pp. 1–122, 2019, doi: 10.1201/9780367816377-11.

T. Hastie, S. Rosset, J. Zhu, and H. Zou, “Multi-class AdaBoost,” Stat. Interface, vol. 2, no. 3, pp. 349–360, 2009, doi: 10.4310/sii.2009.v2.n3.a8.

R. Puri and K. Khamrui, “Application of Quantitative Descriptive Analysis (QDA), Principal Component Analysis (PCA) and Response Surface Methodology (RSM) in standardization of cham-cham making.,” 2015.

A. Tharwat, “Linear vs. quadratic discriminant analysis classifier: a tutorial,” Int. J. Appl. Pattern Recognit., vol. 3, no. 2, p. 145, 2016, doi: 10.1504/ijapr.2016.079050.

A. Tharwat, “Classification assessment methods,” Appl. Comput. Informatics, 2018, doi: 10.1016/j.aci.2018.08.003.

P. A. Flach and M. Kull, “Precision-Recall-Gain curves: PR analysis done right,” Adv. Neural Inf. Process. Syst., vol. 2015-Janua, pp. 838–846, 2015.

L. Nurhayati and H. Azis, “Perancangan Sistem Pendukung Keputusan Untuk Proses Kenaikan Jabatan Struktural Pada Biro Kepegawaian,” Semin. Nas. Teknol. Inf. dan Multimed., pp. 6–7, 2016.

J. D. Kelleher, B. Mac Namee, and A. D. Arcy, Fundamentals of Machine Learning For Predictive Data Analytics Algorithms, Worked Examples, and Case Studies. London: The MIT Press, 2015.

K. H. Brodersen, C. S. Ong, K. E. Stephan, and J. M. Buhmann, “The balanced accuracy and its posterior distribution,” Proc. - Int. Conf. Pattern Recognit., pp. 3121–3124, 2010, doi: 10.1109/ICPR.2010.764.

A. A. Karim, H. Azis, and Y. Salim, “Kinerja Metode C4.5 dalam Penyaluran Bantuan Dana Bencana 1,” Pros. Semin. Nas. Ilmu Komput. dan Teknol. Inf., vol. 3, no. 2, pp. 84–87, 2018.

A. Fitria and H. Azis, “Analisis Kinerja Sistem Klasifikasi Skripsi menggunakan Metode Naïve Bayes Classifier,” Pros. Semin. Nas. Ilmu Komput. dan Teknol. Inf., vol. 3, no. 2, pp. 102–106, 2018.

S. Paembonan et al., “Combination of K-Means and Profile Matching for Drag Substitution,” in 2018 2nd East Indonesia Conference on Computer and Information Technology (EIConCIT), Nov. 2018, pp. 180–183, doi: 10.1109/EIConCIT.2018.8878539.

D. Chicco and G. Jurman, “The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation,” BMC Genomics, vol. 21, no. 1, pp. 1–13, 2020, doi: 10.1186/s12864-019-6413-7.

DOI: https://doi.org/10.33633/tc.v19i3.3646