Estudo comparativo de algoritmos de machine learning no Spark para a previsão de Churn

Abstract

Este projeto apresenta um estudo comparativo de algoritmos de Machine Learning no Spark para a previsão de Churn em empresas de serviços. O Churn, ou taxa de cancelamento de clientes, é um desafio significativo para empresas que buscam estudar como manter a fidelidade de seus clientes. Neste trabalho, foram explorados, analisados e avaliados diferentes algoritmos de Machine Learning, como Regressão Linear, Árvore de Decisão, Random Forest e Gradient Boosting, onde a métrica utilizada para a avaliação de todos os algoritmos foi a BinaryClassificationEvaluator, utilizando a plataforma do Spark, juntamente com o Python, por meio do Google Colab. A coleta dos dados foi realizada através do Kaggle, uma plataforma online de ciência de dados que oferece diversas bases de dados gratuitas voltadas para estudos e desenvolvimentos. Os resultados revelaram que determinados algoritmos apresentaram desempenho superior na previsão do que outros, oferecendo insights valiosos para empresas na adoção de estratégias de retenção de clientes. Este estudo contribui para a aplicação de técnicas de Machine Learning para previsões Churn, oferecendo visões comparativas dos algoritmos no contexto do Spark, possibilitando futuras pesquisas para otimização desses modelos.This project presents a comparative study of Machine Learning algorithms in Spark for Churn prediction in service companies. Churn, or customer cancellation rate, is a significant challenge for companies seeking to understand how to maintain customer loyalty. In this work, different Machine Learning algorithms such as Linear Regression, Decision Tree, Random Forest, and Gradient Boosting were explored, analyzed, and evaluated. The evaluation metric used for all algorithms was the BinaryClassificationEvaluator, utilizing the Spark platform along with Python through Google Colab. Data collection was performed through Kaggle, an online data science platform that provides various free datasets for studies and developments. The results revealed that certain algorithms outperformed others in prediction, offering valuable insights for companies in adopting customer retention strategies. This study contributes to the application of Machine Learning techniques for Churn prediction, providing comparative views of the algorithms in the Spark context and enabling future research for model optimization.