Deteksi Objek Bahasa Isyarat Alfabet BISINDO Menggunakan Deep Learning dan Arsitektur YOLO
DOI:
https://doi.org/10.62411/tc.v23i2.9889Abstract
Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja. Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4. Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja. Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4. Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.References
A. M. Ambarak and A. Z. Falani, “Pengembangan Aplikasi Bahasa Isyarat Indonesia Berbasis Realtime Video Menggunakan Model Machine Learning,” JIKA (Jurnal Inform., vol. 7, no. 1, p. 89, 2023, doi: 10.31000/jika.v7i1.7277.
F. Oktavia, “Upaya Komunikasi Interpersonal Kepala Desa Borneo Sejahtera Dengan Masyarakat Desa Long Lunuk,” Ilmu Komun., vol. 4, no. 1, pp. 239–253, 2016.
E. Tyas, “Gambaran Motif, Penggunaan Dan Kepuasan Pada Media Massa Sebagai Sumber Informasi Kesehatan (Studi Deskriptif Pada Siswa SMA Luar Biasa Tunarungu Karya Mulia Surabaya),” J. Kesehat., vol. 15, no. 2, pp. 128–132, 2022, doi: 10.32763/juke.v15i2.415.
L. L. Linda and A. Muliasari, “Analisis Kebutuhan dan Perilaku ABK Tunarungu dan Wicara dalam Pembelajaran Matematika Dasar di SKh Kabupaten Pandeglang,” JP3M (Jurnal Penelit. Pendidik. dan Pengajaran Mat., vol. 7, no. 1, pp. 09–22, 2021, doi: 10.37058/jp3m.v7i1.2145.
M. Murmahyanti, “Stereotip Masyarakat Pada Kaum Disabilitas Dalam Novel Saraswati si Gadis Dalam Sunyi Karya A.A. Navis”,” J. Sawerigading, vol. 23 no 2, no. 2, 2017.
Lukman Priyambodo et al., “Klasifikasi Kematangan Tanaman Hidroponik Pakcoy Menggunakan Metode SVM,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 6, no. 1, pp. 153–160, Feb. 2022, doi: 10.29207/resti.v6i1.3828.
M. Jannah, “TOMATO MATURITY DETECTION SYSTEM USING COLOR HISTOGRAM METHOD AND NEAREST NEIGHBOR,” JAICT, vol. 7, no. 1, p. 63, Mar. 2022, doi: 10.32497/jaict.v7i1.3074.
M. A. Afandi, S. I. Purnama, and R. F. Crisianti, “Implementasi Metode Deteksi Tepi Laplacian dan Jarak Euclidean untuk Identifikasi Tanda Tangan,” J. Nas. Tek. ELEKTRO, vol. 9, no. 1, p. 34, Mar. 2020, doi: 10.25077/jnte.v9n1.756.2020.
R. F. Christianti, H. L. Fuadi, M. A. Afandi, A. S.N., and A. Dharmawan, “Comparison of Support Vector Machine and Neural Network Algorithm in Drone Detection System,” in 2022 IEEE International Conference on Cybernetics and Computational Intelligence (CyberneticsCom), IEEE, Jun. 2022, pp. 421–426. doi: 10.1109/CyberneticsCom55287.2022.9865628.
M. A. Afandi, H. Kusuma, and T. A. Sardjono, “Carotid Artery Plaque Image Recognition Using Gabor Wavelet and Principal Component Analysis,” in 2018 International Seminar on Intelligent Technology and Its Applications (ISITIA), IEEE, Aug. 2018, pp. 461–464. doi: 10.1109/ISITIA.2018.8710967.
A. A. Ramadana Lubis, S. I. Purnama, and M. A. Afandi, “Sistem Pendeteksi Kantuk Berbasis Metode Haar Cascade Untuk Aplikasi Computer Vision,” Techno.Com, vol. 22, no. 3, pp. 589–598, Aug. 2023, doi: 10.33633/tc.v22i3.8464.
Octavian Ery Pamungkas et al., “Classification of Rupiah to Help Blind with The Convolutional Neural Network Method,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 6, no. 2, pp. 259–268, Apr. 2022, doi: 10.29207/resti.v6i2.3852.
Downloads
Published
Issue
Section
License
Pernyataan Lisensi
Artikel yang diterbitkan dalam jurnal Techno.Com dilisensikan di bawah Lisensi Creative Commons Atribusi-NonKomersial 4.0 Internasional (CC BY-NC 4.0).
Anda diperbolehkan untuk menyalin, mendistribusikan, menampilkan, dan melakukan karya dari artikel ini serta membuat karya turunan selama Anda memberikan kredit yang sesuai kepada penulis asli dan tidak menggunakan karya ini untuk tujuan komersial. Untuk melihat salinan lisensi ini, kunjungi [Creative Commons Attribution-NonCommercial 4.0 International](https://creativecommons.org/licenses/by-nc/4.0/).
---
Contoh pengkreditan:
- Penulis: [Nama Penulis]
- Judul Artikel: [Judul Artikel]
- Jurnal: Techno.Com, Vol. [Nomor Volume], No. [Nomor Edisi], Tahun [Tahun Penerbitan]
Jika Anda ingin menggunakan karya ini untuk tujuan komersial, Anda harus mendapatkan izin terlebih dahulu dari penulis atau penerbit.
---
