Deteksi Objek Bahasa Isyarat Alfabet BISINDO Menggunakan Deep Learning dan Arsitektur YOLO

Authors

  • Mas Aly Afandi Institut Teknologi Telkom Purwokerto https://orcid.org/0000-0003-4821-8191
  • Alicia kinanti Institut Teknologi Telkom Purwokerto
  • Indah Permatasari
  • Nicolas Yonara Tarigan Institut Teknologi Telkom Purwokerto

DOI:

https://doi.org/10.62411/tc.v23i2.9889

Abstract

Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja.  Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4.  Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.Komunikasi merupakan kegiatan kemasyarakatan yang dimana dilakukan dua atau lebih orang untuk dapat saling bertukar informasi. Komunikasi dapat dilakukan dimana saja dan kapan saja.  Namun komunikasi secara normal tidak dapat dilakukan oleh kalangan berkebutuhan khusus terutama tuna wicara. Permasalahan tersebut menimbulkan banyak kerugian bagi penyandang tunawicara untuk berkomunikasi dengan kaum dengar. Kondisi tersebut dapat dihindari dengan membuat sistem pendeteksian bahasa isyarat alfabet BISINDO berbasis computer vision. Penelitian ini memanfaatkan kecerdasan buatan dalam mengenali bahasa isyarat, serta penggunaan konsep Deep Learning dan pemanfaatan arsitektur YOLOv4.  Kecepatan dan keringanan komputasi juga menjadi pertimbangan penting dalam penelitian ini untuk mendapat hasil yang cukup baik dengan waktu komputasi secepat mungkin. Sistem dibangun menggunakan total 494 dataset citra yang sekaligus digunakan untuk pelatihan serta pengujian sistem. Untuk dapat mengukur besarnya performa dari model digunakanlah Confusion Matrix. Hasil dari pengujian menunjukkan bahwa sistem memiliki tingkat accuracy sebesar 99.7%, tingkat precision sebesar 96%, dan tingkat recall sebesar 96%. Penelitian ini membuktikan bahwa metode ini dapat digunakan untuk mendeteksi bahasa isyarat alfabet BISINDO dengan benar dan akurat berdasarkan masukan gambar.

References

A. M. Ambarak and A. Z. Falani, “Pengembangan Aplikasi Bahasa Isyarat Indonesia Berbasis Realtime Video Menggunakan Model Machine Learning,” JIKA (Jurnal Inform., vol. 7, no. 1, p. 89, 2023, doi: 10.31000/jika.v7i1.7277.

F. Oktavia, “Upaya Komunikasi Interpersonal Kepala Desa Borneo Sejahtera Dengan Masyarakat Desa Long Lunuk,” Ilmu Komun., vol. 4, no. 1, pp. 239–253, 2016.

E. Tyas, “Gambaran Motif, Penggunaan Dan Kepuasan Pada Media Massa Sebagai Sumber Informasi Kesehatan (Studi Deskriptif Pada Siswa SMA Luar Biasa Tunarungu Karya Mulia Surabaya),” J. Kesehat., vol. 15, no. 2, pp. 128–132, 2022, doi: 10.32763/juke.v15i2.415.

L. L. Linda and A. Muliasari, “Analisis Kebutuhan dan Perilaku ABK Tunarungu dan Wicara dalam Pembelajaran Matematika Dasar di SKh Kabupaten Pandeglang,” JP3M (Jurnal Penelit. Pendidik. dan Pengajaran Mat., vol. 7, no. 1, pp. 09–22, 2021, doi: 10.37058/jp3m.v7i1.2145.

M. Murmahyanti, “Stereotip Masyarakat Pada Kaum Disabilitas Dalam Novel Saraswati si Gadis Dalam Sunyi Karya A.A. Navis”,” J. Sawerigading, vol. 23 no 2, no. 2, 2017.

Lukman Priyambodo et al., “Klasifikasi Kematangan Tanaman Hidroponik Pakcoy Menggunakan Metode SVM,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 6, no. 1, pp. 153–160, Feb. 2022, doi: 10.29207/resti.v6i1.3828.

M. Jannah, “TOMATO MATURITY DETECTION SYSTEM USING COLOR HISTOGRAM METHOD AND NEAREST NEIGHBOR,” JAICT, vol. 7, no. 1, p. 63, Mar. 2022, doi: 10.32497/jaict.v7i1.3074.

M. A. Afandi, S. I. Purnama, and R. F. Crisianti, “Implementasi Metode Deteksi Tepi Laplacian dan Jarak Euclidean untuk Identifikasi Tanda Tangan,” J. Nas. Tek. ELEKTRO, vol. 9, no. 1, p. 34, Mar. 2020, doi: 10.25077/jnte.v9n1.756.2020.

R. F. Christianti, H. L. Fuadi, M. A. Afandi, A. S.N., and A. Dharmawan, “Comparison of Support Vector Machine and Neural Network Algorithm in Drone Detection System,” in 2022 IEEE International Conference on Cybernetics and Computational Intelligence (CyberneticsCom), IEEE, Jun. 2022, pp. 421–426. doi: 10.1109/CyberneticsCom55287.2022.9865628.

M. A. Afandi, H. Kusuma, and T. A. Sardjono, “Carotid Artery Plaque Image Recognition Using Gabor Wavelet and Principal Component Analysis,” in 2018 International Seminar on Intelligent Technology and Its Applications (ISITIA), IEEE, Aug. 2018, pp. 461–464. doi: 10.1109/ISITIA.2018.8710967.

A. A. Ramadana Lubis, S. I. Purnama, and M. A. Afandi, “Sistem Pendeteksi Kantuk Berbasis Metode Haar Cascade Untuk Aplikasi Computer Vision,” Techno.Com, vol. 22, no. 3, pp. 589–598, Aug. 2023, doi: 10.33633/tc.v22i3.8464.

Octavian Ery Pamungkas et al., “Classification of Rupiah to Help Blind with The Convolutional Neural Network Method,” J. RESTI (Rekayasa Sist. dan Teknol. Informasi), vol. 6, no. 2, pp. 259–268, Apr. 2022, doi: 10.29207/resti.v6i2.3852.

Downloads

Published

2024-05-18

Issue

Vol. 23 No. 2 (2024): Mei 2024

Section

Articles

License

 

License Terms

All articles published in Techno.COM Journal are licensed under the Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0). This means:

1. Attribution

Readers and users are free to:

  • Share – Copy and redistribute the material in any medium or format.

  • Adapt – Remix, transform, and build upon the material.

As long as proper credit is given to the original work by citing the author(s) and the journal.

2. Non-Commercial Use

  • The material cannot be used for commercial purposes.

  • Commercial use includes selling the content, using it in commercial advertising, or integrating it into products/services for profit.

3. Rights of Authors

  • Authors retain copyright and grant Techno.COM Journal the right to publish the article.

  • Authors can distribute their work (e.g., in institutional repositories or personal websites) with proper acknowledgment of the journal.

4. No Additional Restrictions

  • The journal cannot apply legal terms or technological measures that restrict others from using the material in ways allowed by the license.

5. Disclaimer

  • The journal is not responsible for how the published content is used by third parties.

  • The opinions expressed in the articles are solely those of the authors.

For more details, visit the Creative Commons License Page:
? https://creativecommons.org/licenses/by-nc/4.0/

 

Most read articles by the same author(s)

Obs.: This plugin requires at least one statistics/report plugin to be enabled. If your statistics plugins provide more than one metric then please also select a main metric on the admin's site settings page and/or on the journal manager's settings pages.