Estudo da plataforma de computação em cluster apache spark voltada ao machine learning

Abstract

Neste projeto teve-se como proposta o estudo da ferramenta Apache Spark aplicada à computação em cluster, em especial na área de Machine Learning, em conjunto com o recurso de streaming de dados oferecido pelo Spark, a fim de realizar a extração, transformação e visualização dos dados em tempo real. Foram analisados os componentes da arquitetura do Apache Spark e seu funcionamento; em seguida, foi desenvolvida uma aplicação simples, aplicando na prática os conceitos estudados.

In this project, the proposal was to study the Apache Spark tool applied to cluster computing, especially in the area of Machine Learning, together with the data stream feature offered by Spark, in order to perform the extraction, transformation and visualization of the data. real-time data. The components of the Apache Spark architecture and its functioning were analyzed, then a simple application was developed, applying the studied concepts in practice.