Pemanfaatan Topic-Focused Crawler untuk Pembangunan Corpus Berita Bencana menggunakan Teknik Scrapy CSS Selector

Authors

  • Muhammad Syaifur Rohman Universitas Dian Nuswantoro
  • Heru Agus Santoso Universitas Dian Nuswantoro
  • Galuh Wilujeng Saraswati Universitas Dian Nuswantoro
  • Nurul Anisa Sri Winarsih Universitas Dian Nuswantoro

Abstract

BPBD provinsi Jawa Tengah adalah suatu Lembaga Pemerintah non-departemen yang melaksanakan tugas penanggulangan bencana di Provinsi maupun Kabupaten/ Kota. Dalam melaksanakan tugasnya, BPBD berusaha memberikan beberapa layanan informasi kebencanaan melalui sebuah website, akan tetapi banyak masyarakat yang belum banyak berkunjung didalamnya. Oleh karena itu perlu di bangun sebuah aplikasi berbasis android. Untuk membuat aplikasi BPBD provinsi Jawa Tengah berbasis android ini memerlukan akses informasi dan data dari website BPBD pusat, sedangkan akses untuk menuju databasenya harus menghubungkan ke dalam server KOMNIFO. Dengan mempertimbangankan masalah keamanan, peneliti menggunakan crawling untuk membuat corpus berita kebencanaan. Teknik pengembangan software yang digunakan yaitu waterfall dengan proses: perencanaan, analisis, perancangan, implementasi dan pengujian. Peneliti membangun Topic-Focused Crawler untuk Pembangunan Corpus Berita Bencana Menggunakan Teknik Scrapy CSS Selector menggunakan bahasa pemrograman python dan database mysql.

References

T. Arierf and R. Hemawan, “Perbandingan Metode Web Scraping Menggunakan Css Selector Dan Xpath Selector Taufiq,†J. Ilm. ILMU Komput. Univ. Udayana Vol., vol. X, no. 2, pp. 32–38, 2017.

D. Xie and W. Xia, “Design and Implementation of The Topic-focused Crawler Based on Scrapy,†vol. 851, pp. 487–490, 2014.

P. Raulamo-jurvanen, K. Kakkonen, and M. Mäntylä, “Using Surveys and Web-Scraping to Select Tools for Software Testing Consultancy.â€

A. S. Nisafani, R. A. Hendrawan, and A. Wibisono, “Eliciting Data From Website Using Scrapy : An Example,†no. or Ixml, pp. 7–12, 2017.

C. Kim, S. Park, and Y. Kim, “Design and implementation of crawling algorithm to collect deep web information for web archiving,†2018.

A. D. Supriatna, “Web Scraping and Naïve Bayes Classification for Job Search Engine Web Scraping and Naïve Bayes Classification for Job Search Engine,†2018.

Y. Fan, “Design and Implementation of Distributed Crawler System Based on Scrapy Design and Implementation of Distributed Crawler System Based on Scrapy,†2018.

I. P. Nacional and E. Culhuacan, “RESEARCH ARTICLE A Web Scraping Methodology for Bypassing Twitter API,†pp. 1–7.

Y. Ren, “A Framework of Petroleum Information Retrieval System Based On Web Scraping With Python,†2018 15th Int. Conf. Serv. Syst. Serv. Manag., pp. 1–6, 2018.

S. Tinggi, I. Komputer, and D. Bangsa, “PENERAPAN WEB SCRAPING PADA WEBSITECOMPANY PROFILE,†pp. 37–43.

T. Rizaldi and H. Ariefputranto, “Pemanfaatan News Crawling Untuk Pembangunan Corpus Berita Menggunakan Scrapy dan Xpath,†pp. 291–295, 2017.

Downloads

Published

2019-11-21

Issue

2019: Semnastik 2019

Section

Articles

License

Penulis yang mempublikasikan artikelnya dalam publikasi ini setuju dengan ketentuan berikut :


  1. Hak cipta tetap pada penulis dan memberikan hak kepada SEMNASTIK 2019 sebagai prioritas pertama untuk mempublikasikan artikelnya dengan lisensi Creative Commons Attribution License yang memperbolehkan artikel untuk dapat dibagikan dengan pengakuan terhadap penulis artikel dan SEMNASTIK 2019 sebagai tempat publikasinya.
  2. Penulis dapat mendistribusikan publikasi artikelnya secara non-eksklusif (contoh : pada repository universitas atau pada buku) dengan pemberitahuan atau pengakuan publikasi di SEMNASTIK 2019.
  3. Penulis diijinkan untuk mencantumkan karyanya secara online (misal : di website pribadi atau di repository universitas) sebelum dan sesudah proses pengiriman (lihat The Effect of Open Access).