Computação distribuída com Apache Hadoop

Abstract

O presente trabalho detalha a construção de um cluster de computadores e sua aplicação para o processamento de análises de linguística de corpus. O cluster foi construído utilizando hardware comum e fazendo uso do framework Apache Hadoop em conjunto com sua biblioteca de Streaming com Python 3. As aplicações foram desenvolvidas no modelo de programação MapReduce, fazendo uso de uma biblioteca, nomeada MapReduceLib, elaborada no decorrer deste trabalho. Os resultados obtidos demonstram que o uso do cluster representou um melhor desempenho, indicando a implementação de sistemas distribuídos como uma alternativa de baixo custo para processamento de grande volume de dados em larga escala.