Visual Question Answering Bahasa Indonesia Berbasis Deep Learning untuk Pembelajaran Visual Anak TK

Authors

  • Asiyah Hanifah Institut Teknologi Sepuluh Nopember
  • Rizka Wakhidatus Sholikah Institut Teknologi Sepuluh Nopember
  • R.V. Hari Ginardi Institut Teknologi Sepuluh Nopember

DOI:

https://doi.org/10.62411/tc.v23i1.9694

Keywords:

Visual question answering, e-learning, BLIP, NLLB, bahasa Indonesia.

Abstract

Indonesia semakin gencar melakukan persiapan transformasi digital dalam berbagai sektor, termasuk dalam bidang pendidikan. Salah satu upaya yang dilakukan pemerintah adalah dengan mengimplementasikan platform e-learning dalam kegiatan belajar mengajar hingga ke jenjang taman kanak-kanak. Metode pembelajaran visual pada taman kanak-kanak dapat diimplementasikan ke dalam e-learning yang lebih interaktif dan menarik dengan sistem Visual Question Answering (VQA). Sistem VQA dapat memberikan pertanyaan terkait dengan gambar yang ditampilkan dan mengecek kesesuaian jawaban dari siswa secara otomatis. Pada penelitian ini dibangun sistem VQA yang dapat menerima pertanyaan berbahasa Indonesia dan mengoreksi jawaban dalam bahasa Indonesia. Sistem dibangun dengan menggunakan model Bootstrapping Language-Image Pre-training (BLIP) untuk VQA dan model No Language Left Behind (NLLB) untuk penerjemahan. Uji coba dilakukan pada enam jenis jawaban yaitu ya/tidak, kata benda, kata kerja, kata sifat, kata keterangan, dan numeral. Hasil pengujian menunjukkan bahwa sistem dapat menjawab dengan nilai ketepatan 100 untuk jawaban ya/tidak, kata benda, kata kerja, dan numeral. Sementara untuk kata sifat dan kata keterangan masing-masing memiliki nilai ketepatan 62,5 dan 87,5.

Downloads

Published

2024-06-21

Issue

Vol. 23 No. 1 (2024): Februari 2024

Section

Articles

License

 

License Terms

All articles published in Techno.COM Journal are licensed under the Creative Commons Attribution-NonCommercial 4.0 International (CC BY-NC 4.0). This means:

1. Attribution

Readers and users are free to:

  • Share – Copy and redistribute the material in any medium or format.

  • Adapt – Remix, transform, and build upon the material.

As long as proper credit is given to the original work by citing the author(s) and the journal.

2. Non-Commercial Use

  • The material cannot be used for commercial purposes.

  • Commercial use includes selling the content, using it in commercial advertising, or integrating it into products/services for profit.

3. Rights of Authors

  • Authors retain copyright and grant Techno.COM Journal the right to publish the article.

  • Authors can distribute their work (e.g., in institutional repositories or personal websites) with proper acknowledgment of the journal.

4. No Additional Restrictions

  • The journal cannot apply legal terms or technological measures that restrict others from using the material in ways allowed by the license.

5. Disclaimer

  • The journal is not responsible for how the published content is used by third parties.

  • The opinions expressed in the articles are solely those of the authors.

For more details, visit the Creative Commons License Page:
? https://creativecommons.org/licenses/by-nc/4.0/

 

Most read articles by the same author(s)

Obs.: This plugin requires at least one statistics/report plugin to be enabled. If your statistics plugins provide more than one metric then please also select a main metric on the admin's site settings page and/or on the journal manager's settings pages.