Análise de coleta de dados ELK: utilizando Elastic Search, Logstash e Kibana

Abstract

O atual mundo possui nos dados, um de seus mais importantes e valiosos bens. Com o avanço da tecnologia, novos aplicativos e redes sociais aparecendo todos os dias no mundo todo, é natural que o volume de dados armazenados na web cresça exponencialmente e exija cada vez mais recursos potentes e robusto para tratá-los. Também se faz natural o surgimento de novas tecnologias para lidar com esses dados, porém, existem muitas ferramentas pagas para realização de análise de um grande volume de dados (Big Data). O objetivo deste artigo foi demonstrar o uso de ferramentas de código aberto (Open Source) para captar, armazenar e tratar um volume muito grande de informações adquiridas de uma base de dados voltadas para estudos de análises de Big Data e aprendizagem de máquina (Machine learning). Este trabalho descreve a utilização de ferramentas de código aberto: Sistema Operacional Ubuntu, banco de dados não-relacional Elastic Search para armazenagem dos dados, Logstash que captou e inseriu os dados no banco não relacional e Kibana para analisar e gerar ‘dashboards’. A formação dessas três ferramentas é conhecida como Elastic Search, Logstash, Kibana (ELK).