Aplicação de técnica de big data mining para análise do desempenho de algoritmos de classificação em ambiente em nuvem - OLIVEIRA, Lucas Souza de; DANNEBROCK, Matheus Cristiano Rodrigues Moledo (105, 2021)
A utilização de ferramentas tecnológicas está se tornando rotina em diversas áreas, isso acarreta a produção cada vez maior de dados. Nesse contexto, a implementação de técnicas de Big Data Mining oferece uma valiosa oportunidade, pois possibilita trabalhar com um grande volume de dados juntamente com algoritmos de aprendizagem de máquinas e obter novos conhecimentos a partir desses dados. Sendo assim, este trabalho teve como objetivo avaliar o desempenho de um algoritmo de mineração de dados, de complexidade exponencial, em uma arquitetura de Big Data utilizando diversas configurações de computadores na nuvem visando a identificar os melhores cenários. Para alcançar o objetivo proposto, foi realizada uma pesquisa experimental. Inicialmente, na fundamentação teórica são apresentados alguns trabalhos relacionados à análise de dados e aplicação das técnicas de Big Data e Data Mining. Em seguida, a partir de dados da FATEC Indaiatuba, obtidos do sistema SIGA da FATEC selecionada, foi utilizado o Google Cloud Engine para virtualização do sistema, e a ferramenta WEKA, Apache Spark e Hadoop para processamento dos dados e visualização dos resultados. Finalmente, os tempos de processamento foram registrados e comparados para a análise de desempenho pretendida. Assim, foi possível determinar que o melhor cenário criado necessitou de 39,06% de tempo para o processamento, em relação ao tempo do pior cenário, demonstrando a diferença de tempos de processamento, associando que a adição de máquinas workers ou CPUs, resulta em expressiva redução de tempo de processamento no ambiente Distribuído.
Application of big data mining techniques to analyze the performance of classification algorithms in a cloud environment
Keywords: Big data; Tecnologia; Algoritmos; Mineração de dados; Informação e Comunicação