Análise de dados com apache spark: como uma ferramenta pode inovar a forma de processamento de dados

Abstract

Esse Trabalho de Conclusão de Curso apresenta como o Apache Spark pode ser uma ferramenta útil para análise de dados no dia a dia de um analista de desenvolvimento de sistemas. A partir da observação dos desafios que o crescimento de dados criados no nosso cotidiano vem trazendo para as empresas, principalmente nos últimos tempos, verificou-se a necessidade e publicação desse trabalho. Para isso, escolheu-se dentre as ferramentas mais utilizadas do Big Data, o Apache Spark. Tal ferramenta foi selecionada com o objetivo de mostrar o impacto que ela tem na análise de dados de origens variadas. Com esta publicação espera-se que iniciantes na carreira de T.I. possam entender como ela funciona e os contextos diferentes que essa biblioteca de programação pode ser inserida.This Cundergraduate thesis presents how Apache Spark can be a useful tool for day by day analysis of a systems development analyst. From the observation of the challenges that the growth of data created in our daily lives has brought to companies, especially in recent times, the need and publication of this work was verified. For that, it was chosen among the most used Big Data tools, Apache Spark. This tool was selected with the objective of showing the impact it has on the analysis of data from different sources. With this publication, it is expected that beginners in the IT career can understand how it works and the different contexts that this programming library can be inserted into.