Deteksi Objek Bahasa Isyarat Alfabet BISINDO Menggunakan Deep Learning dan Arsitektur YOLO

Authors

  • Mas Aly Afandi Institut Teknologi Telkom Purwokerto https://orcid.org/0000-0003-4821-8191
  • Alicia kinanti Institut Teknologi Telkom Purwokerto
  • Indah Permatasari
  • Nicolas Yonara Tarigan Institut Teknologi Telkom Purwokerto

DOI:

https://doi.org/10.62411/tc.v23i2.9889

Abstract

Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja.  Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4.  Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja.  Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4.  Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.

References

A. M. Ambarak and A. Z. Falani, “Pengembangan Aplikasi Bahasa Isyarat Indonesia Berbasis Realtime Video Menggunakan Model Machine Learning,” JIKA (Jurnal Inform., vol. 7, no. 1, p. 89, 2023, doi: 10.31000/jika.v7i1.7277.

F. Oktavia, “Upaya Komunikasi Interpersonal Kepala Desa Borneo Sejahtera Dengan Masyarakat Desa Long Lunuk,” Ilmu Komun., vol. 4, no. 1, pp. 239–253, 2016.

E. Tyas, “Gambaran Motif, Penggunaan Dan Kepuasan Pada Media Massa Sebagai Sumber Informasi Kesehatan (Studi Deskriptif Pada Siswa SMA Luar Biasa Tunarungu Karya Mulia Surabaya),” J. Kesehat., vol. 15, no. 2, pp. 128–132, 2022, doi: 10.32763/juke.v15i2.415.

L. L. Linda and A. Muliasari, “Analisis Kebutuhan dan Perilaku ABK Tunarungu dan Wicara dalam Pembelajaran Matematika Dasar di SKh Kabupaten Pandeglang,” JP3M (Jurnal Penelit. Pendidik. dan Pengajaran Mat., vol. 7, no. 1, pp. 09–22, 2021, doi: 10.37058/jp3m.v7i1.2145.

M. Murmahyanti, “Stereotip Masyarakat Pada Kaum Disabilitas Dalam Novel Saraswati si Gadis Dalam Sunyi Karya A.A. Navis”,” J. Sawerigading, vol. 23 no 2, no. 2, 2017.

Lukman Priyambodo et al., “Klasifikasi Kematangan Tanaman Hidroponik Pakcoy Menggunakan Metode SVM,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 6, no. 1, pp. 153–160, Feb. 2022, doi: 10.29207/resti.v6i1.3828.

M. Jannah, “TOMATO MATURITY DETECTION SYSTEM USING COLOR HISTOGRAM METHOD AND NEAREST NEIGHBOR,” JAICT, vol. 7, no. 1, p. 63, Mar. 2022, doi: 10.32497/jaict.v7i1.3074.

M. A. Afandi, S. I. Purnama, and R. F. Crisianti, “Implementasi Metode Deteksi Tepi Laplacian dan Jarak Euclidean untuk Identifikasi Tanda Tangan,” J. Nas. Tek. ELEKTRO, vol. 9, no. 1, p. 34, Mar. 2020, doi: 10.25077/jnte.v9n1.756.2020.

R. F. Christianti, H. L. Fuadi, M. A. Afandi, A. S.N., and A. Dharmawan, “Comparison of Support Vector Machine and Neural Network Algorithm in Drone Detection System,” in 2022 IEEE International Conference on Cybernetics and Computational Intelligence (CyberneticsCom), IEEE, Jun. 2022, pp. 421–426. doi: 10.1109/CyberneticsCom55287.2022.9865628.

M. A. Afandi, H. Kusuma, and T. A. Sardjono, “Carotid Artery Plaque Image Recognition Using Gabor Wavelet and Principal Component Analysis,” in 2018 International Seminar on Intelligent Technology and Its Applications (ISITIA), IEEE, Aug. 2018, pp. 461–464. doi: 10.1109/ISITIA.2018.8710967.

A. A. Ramadana Lubis, S. I. Purnama, and M. A. Afandi, “Sistem Pendeteksi Kantuk Berbasis Metode Haar Cascade Untuk Aplikasi Computer Vision,” Techno.Com, vol. 22, no. 3, pp. 589–598, Aug. 2023, doi: 10.33633/tc.v22i3.8464.

Octavian Ery Pamungkas et al., “Classification of Rupiah to Help Blind with The Convolutional Neural Network Method,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 6, no. 2, pp. 259–268, Apr. 2022, doi: 10.29207/resti.v6i2.3852.

Downloads

Published

2024-05-18

Issue

Vol. 23 No. 2 (2024): Mei 2024

Section

Articles

License

Penulis yang mempublikasikan artikelnya dalam jurnal ini setuju dengan ketentuan berikut :


  1. Hak cipta tetap pada penulis dan memberikan hak kepada jurnal Techno.Com sebagai prioritas pertama untuk mempublikasikan artikelnya dengan lisensi Creative Commons Attribution License yang memperbolehkan artikel untuk dapat dibagikan dengan pengakuan terhadap penulis artikel dan jurnal ini sebagai tempat publikasinya.
  2. Penulis dapat mendistribusikan publikasi artikelnya secara non-eksklusif (contoh : pada repository universitas atau pada buku) dengan pemberitahuan atau pengakuan publikasi di jurnal Techno.Com.
  3. Penulis diijinkan untuk mencantumkan karyanya secara online (misal : di website pribadi atau di repository universitas) sebelum dan sesudah proses pengiriman (lihat The Effect of Open Access).