Aplicação de técnica de big data mining para análise do desempenho de algoritmos de classificação em ambiente em nuvem

Abstract

A utilização de ferramentas tecnológicas está se tornando rotina em diversas áreas, isso acarreta a produção cada vez maior de dados. Nesse contexto, a implementação de técnicas de Big Data Mining oferece uma valiosa oportunidade, pois possibilita trabalhar com um grande volume de dados juntamente com algoritmos de aprendizagem de máquinas e obter novos conhecimentos a partir desses dados. Sendo assim, este trabalho teve como objetivo avaliar o desempenho de um algoritmo de mineração de dados, de complexidade exponencial, em uma arquitetura de Big Data utilizando diversas configurações de computadores na nuvem visando a identificar os melhores cenários. Para alcançar o objetivo proposto, foi realizada uma pesquisa experimental. Inicialmente, na fundamentação teórica são apresentados alguns trabalhos relacionados à análise de dados e aplicação das técnicas de Big Data e Data Mining. Em seguida, a partir de dados da FATEC Indaiatuba, obtidos do sistema SIGA da FATEC selecionada, foi utilizado o Google Cloud Engine para virtualização do sistema, e a ferramenta WEKA, Apache Spark e Hadoop para processamento dos dados e visualização dos resultados. Finalmente, os tempos de processamento foram registrados e comparados para a análise de desempenho pretendida. Assim, foi possível determinar que o melhor cenário criado necessitou de 39,06% de tempo para o processamento, em relação ao tempo do pior cenário, demonstrando a diferença de tempos de processamento, associando que a adição de máquinas workers ou CPUs, resulta em expressiva redução de tempo de processamento no ambiente Distribuído.