Mining Data Twitter menggunakan Elasticsearch, Logstash dan Kibana

Tak dapat dipungkiri, sekarang adalah era Big Data dimana data dapat ditemukan dimana-mana, dan setiap detik terus bertambah dalam jumlah (Volume), kecepatan (Velocity) dan jenisnya (Variety). Hal ini dikenal dengan 3V, yang pertama kali diperkenalkan oleh Doug Laney pada tahun 2001 melalui laporan penelitiannya [1].
Twitter merupakan media sosial yang populer, setiap detik ada beribu-ribu tweet(istilah pesan Twitter) yang diposting dan membentuk Big Data. Melalui Twitter API kita dapat melakukan crawling data dari seluruh dunia secara real-time mengenai suatu kata kunci. Dalam postingan ini saya akan membahas cara melakukan data mining (penambangan data) Twitter menggunakan tools Big Data yaitu Elasticsearch, Logstash dan Kibana.


Alur sistem dimulai dari pengambilan data Twitter dari Twitter API, ditangkap oleh Logstash. Logstash kemudian meneruskan data tersebut ke Elasticsearch yang merupakan tempat penyimpanan data dan search engine yang berdiri di atas Apache Lucene. Terakhir, Kibana bertugas menampilkan visualisasi data Elasticsearch kepada pengguna.

Requirements
Saya menggunakan OS Linux Ubuntu, percobaan dilakukan dengan versi 13.10 dan 14.04. Untuk membangun sistem ini, dibutuhkan komponen pada server yaitu:
a. Java                  :Runtime Environment yang dibutuhkan Logstash untuk beroperasi
b. Logstash          :Bertugas mengumpulkan dan memproses log yang masuk ke dalam sistem
c. Elasticsearch    :Menyimpan, mengindeks, dan mampu mencari log dalam library-nya.
d. Kibana             :Web interface untuk visualisasi , filtering dan analisis log yang disimpan oleh Elasticsearch
f. Kopf                 :Plugin Elasticsearch untuk konfigurasi cluster Elasticsearch

Instalasi

Awalnya semua komponen diinstall pada server. Untuk mempermudah instalasi, atur menggunakan autentikasi sebagai root dengan mengetikkan perintah berikut pada terminal:
sudo su
su –c “zypper install jdk1.7*.rpm”
zypper install update-alternatives
update-alternatives --install /usr/bin/java java /usr/java/jdk1.7*/bin/java 1065
update-alternatives --install /usr/bin/javac javac /usr/java/jdk1.7*/bin/javac 1065
update-alternatives --install /usr/bin/jar jar /usr/java/jdk1.7*/bin/jar 1065
update-alternatives --install /usr/bin/javaws javaws /usr/java/jdk1.7*/bin/javaws 1065
update-alternatives --config java

Elasticsearch versi 1.5.0 diunduh pada website www.elastic.co, kemudian diextract ke direktori /opt dengan perintah berikut.
tar xvfx elasticsearch-1.5.0.tar.gz –C /opt

Setelah berhasil diekstrak, maka Elasticsearch dapat dieksekusi dengan menjalankan bin/elasticsearch pada background dengan menambahkan simbol “&” pada akhir perintah.

Untuk Kibana, pertama-tama unduh Kibana versi 4.0.1 pada website www.elastic.co kemudian diekstrak pada direktori /usr/local/kibana dengan perintah berikut.
tar xvfx kibana-4.0.1.tar.gz –C /usr/local/kibana

Kibana dapat dieksekusi dengan menjalankan .bin/kibana. Untuk menjalankan Kibana pada background, pada akhir perintah ditambahkan simbol “&”.

Unduh Logstash versi terbaru dalam bentuk file tar.gz dan mengekstraknya pada direktori /usr/local/logstash.
tar xvfx logstash-1.4.2.tar.gz –C /usr/local/logstash

Instalasi Kopf dilakukan di dalam direktori home Elasticsearch. Berikut ini langkah-langkah instalasinya.
cd /opt/elasticsearch-1.5.0
bin/plugin --install lmenezes/elasticsearch-kopf/1.4.5


Setelah semua komponen terinstal, crawling Twitter pun dapat dimulai.

Data telah ditangkap Logstash, diteruskan ke Elasticsearch dan ditampilkan ke Kibana dengan tampilan berikut.


Fitur interaktif Kibana ini dapat dikonfigurasikan sesuai kebutuhan, baik itu bar chart, pie chart, tabel, map, histogram, dan sebagainya.


Referensi

[1]         D. Laney, “META Delta,” Appl. Deliv. Strateg., vol. 949, no. February 2001, p. 4, 2001.

Komentar

Posting Komentar

Postingan populer dari blog ini

Pengalaman Kerja Praktik di Solusi 247

Gambar
Pada postingan ini saya ingin berbagi sedikit pengalaman masa-masa kerja praktek di Solusi 247. Solusi 247 atau disingkat S247 adalah perusahaan penyedia IT Solution dari Indonesia. Sebagai seorang anak bangsa, saya bangga Indonesia memiliki perusahaan IT yang telah berkembang pesat seperti S247. Seperti namanya, S247 menyediakan solusi selama 24 jam 7 hari atau “nonstop”. Karena layanan IT dibutuhkan setiap saat, selayaknya dokter dan pemimpin agama yang bisa dipanggil kapan saja, maka S247 pun aktif hingga hari Minggu. Saya mengenal perusahaan ini pertama kali di kampus tercinta saya, Jurusan Teknik Elektro dan Teknologi Informasi Fakultas Teknik Universitas Gadjah Mada. Saat itu di tahun ketiga perkuliahan saya, saya sedang ingin mendalami Hadoop. Jika teman-teman pernah mendengarnya, Hadoop adalah tool Big Data yang dikembangkan dari Google. Hadoop adalah tool opensource yang powerful . Jika kebanyakan basis data saat ini masih menggunakan RDBMS ( Relational Database Manag
Baca selengkapnya

Great People Trainee Program (GPTP) Telkom

Hi, I'm back ! Alright, lanjut ke pembahasan kita hari ini yak.. Tahapan tes GPTP Telkom ini seperti postinganku sebelumnya adalah sebagai berikut: disclaimer: tahapan ini adalah sesuai pengalamanku saat GPTP-3 tahun 2016. Setiap tahun Telkom melakukan enhancement proses seleksi sehingga bisa saja punya perbedaan dengan tahun sebelumnya. 1. Seleksi Administrasi : disini seperti biasa, kita disuruh melengkapi data-data pribadi seperti biodata, IPK, TOEFL, prestasi, sertifikat yang didapatkan, dan sebagainya untuk saringan pertama. Ini hal yang sangat wajar dilakukan oleh perusahaan-perusahaan untuk menyaring begitu banyak kandidat. Sebagai informasi, dalam 1x rekrutmen peminat yang apply di Telkom mencapai angka puluhan ribu orang, tapi tak perlu khawatir yang penting isi biodata dengan lengkap (dan niat ya), IPK masih di atas 3, dan TOEFL di atas 500. Tambahkan setiap prestasi dan organisasi yang pernah kamu ikuti juga untuk menunjang ya. 2. Seleksi Tahap I (Online Assesment):
Baca selengkapnya

Perjalanan Panjang to be a Telkomers

Gambar
Experience is the Best Teacher Yup. Pengalaman itu adalah guru yang terbaik. Dan supaya pengalamanku juga berguna untuk teman-teman semua, maka aku memutuskan untuk posting tentang proses pencarian pekerjaanku yang penuh lika-liku ini (yeay!) Aku sadar, persaingan ke dunia kerja itu ketat banget, dan sukses hanya datang kepada mereka yang siap (mengutip dari tema Career Days UGM waktu dulu panitia) maka segala sesuatu harus dipersiapkan dengan baik. Sejak wisuda S1 Agustus 2015, aku langsung apply ke banyak perusahaan yang buka lowongan. Meskipun masih lanjutin kuliah Fasttrack S2-ku 1 tahun lagi, tapi aku berdoa supaya dapat pekerjaan sebelum lulus, atau setidaknya gunakan waktu yang ada untuk ikut tes sehingga punya banyak pengalaman. Practice makes Perfect! Ini daftar perusahaan yang aku apply: Samsung : Pertama kali merasakan interview masuk kerja itu ya di Samsung ini... haha.. Datang telat karena pas ada kegiatan sebelumnya. Pas dateng, peserta lain udah pada mulai tes
Baca selengkapnya