Pemanfaatan Topic-Focused Crawler untuk Pembangunan Corpus Berita Bencana menggunakan Teknik Scrapy CSS Selector

Authors

  • Muhammad Syaifur Rohman Universitas Dian Nuswantoro
  • Heru Agus Santoso Universitas Dian Nuswantoro
  • Galuh Wilujeng Saraswati Universitas Dian Nuswantoro
  • Nurul Anisa Sri Winarsih Universitas Dian Nuswantoro

Abstract

BPBD provinsi Jawa Tengah adalah suatu Lembaga Pemerintah non-departemen yang melaksanakan tugas penanggulangan bencana di Provinsi maupun Kabupaten/ Kota. Dalam melaksanakan tugasnya, BPBD berusaha memberikan beberapa layanan informasi kebencanaan melalui sebuah website, akan tetapi banyak masyarakat yang belum banyak berkunjung didalamnya. Oleh karena itu perlu di bangun sebuah aplikasi berbasis android. Untuk membuat aplikasi BPBD provinsi Jawa Tengah berbasis android ini memerlukan akses informasi dan data dari website BPBD pusat, sedangkan akses untuk menuju databasenya harus menghubungkan ke dalam server KOMNIFO. Dengan mempertimbangankan masalah keamanan, peneliti menggunakan crawling untuk membuat corpus berita kebencanaan. Teknik pengembangan software yang digunakan yaitu waterfall dengan proses: perencanaan, analisis, perancangan, implementasi dan pengujian. Peneliti membangun Topic-Focused Crawler untuk Pembangunan Corpus Berita Bencana Menggunakan Teknik Scrapy CSS Selector menggunakan bahasa pemrograman python dan database mysql.

References

T. Arierf and R. Hemawan, “Perbandingan Metode Web Scraping Menggunakan Css Selector Dan Xpath Selector Taufiq,†J. Ilm. ILMU Komput. Univ. Udayana Vol., vol. X, no. 2, pp. 32–38, 2017.

D. Xie and W. Xia, “Design and Implementation of The Topic-focused Crawler Based on Scrapy,†vol. 851, pp. 487–490, 2014.

P. Raulamo-jurvanen, K. Kakkonen, and M. Mäntylä, “Using Surveys and Web-Scraping to Select Tools for Software Testing Consultancy.â€

A. S. Nisafani, R. A. Hendrawan, and A. Wibisono, “Eliciting Data From Website Using Scrapy : An Example,†no. or Ixml, pp. 7–12, 2017.

C. Kim, S. Park, and Y. Kim, “Design and implementation of crawling algorithm to collect deep web information for web archiving,†2018.

A. D. Supriatna, “Web Scraping and Naïve Bayes Classification for Job Search Engine Web Scraping and Naïve Bayes Classification for Job Search Engine,†2018.

Y. Fan, “Design and Implementation of Distributed Crawler System Based on Scrapy Design and Implementation of Distributed Crawler System Based on Scrapy,†2018.

I. P. Nacional and E. Culhuacan, “RESEARCH ARTICLE A Web Scraping Methodology for Bypassing Twitter API,†pp. 1–7.

Y. Ren, “A Framework of Petroleum Information Retrieval System Based On Web Scraping With Python,†2018 15th Int. Conf. Serv. Syst. Serv. Manag., pp. 1–6, 2018.

S. Tinggi, I. Komputer, and D. Bangsa, “PENERAPAN WEB SCRAPING PADA WEBSITECOMPANY PROFILE,†pp. 37–43.

T. Rizaldi and H. Ariefputranto, “Pemanfaatan News Crawling Untuk Pembangunan Corpus Berita Menggunakan Scrapy dan Xpath,†pp. 291–295, 2017.

Downloads

Published

2019-11-21

Issue

Section

Articles