Estruturação de uma base de dados voltada ao treinamento de modelos de reconhecimento de sinais de libras

Abstract

Em 2010 o IBGE (Instituto Brasileiro de Geografia e Estatística) apresentou um censo que apontava que 10 milhões de pessoas no Brasil possuíam algum grau de surdez. Parte desta população faz uso da Libras (Língua Brasileira de Sinais) para comunicar-se. Mesmo a Libras sendo considerada a segunda língua oficial do Brasil, poucas pessoas são capazes de comunicar-se por meio dela, causando um isolamento social dos surdos. Quando se olha para a tecnologia como forma de auxiliar as pessoas, nota-se uma falta de ferramentas que possam ajudar na inclusão dos surdos, até existe aplicações que conseguem converter textos em sinais, podendo servir como intérprete para os surdos, porém eles ainda são dependentes de pessoas intérpretes para poderem ser entendidos, desta forma nota-se uma escassez em tecnologias voltadas para o reconhecimento da língua de sinais. Buscando estudos que explorassem esta área um problema tornava-se recorrente, a falta de uma base de dados confiável que pudesse ser usada para realizar treinamentos de modelos que reconhecesse a língua de sinais. Sendo assim este trabalho objetivou o uso de técnicas de estrutura de dados, aprendizado de máquina e processamento de imagens para construir uma base de dados que fosse qualificada para atender está demanda. Assim foram utilizadas diversas bibliotecas da linguagem de programação Python para realizar a captura de pontos de referência do rosto, postura e mãos, sendo eles armazenados em um banco de dados não relacional que serviram de base de treinamento para um modelo de rede neural recorrente que pudesse reconhecer os sinais: por favor, obrigado, entender, desculpar e oi. Esperava-se que está base de dados pudesse treinar modelos que interpretassem sinais com uma taxa de acurácia de 70%, entretanto o modelo treinado obteve melhores resultados atingindo 86,6% de acerto.

In 2010 the IBGE (Brazilian Institute of Geography and Statistics) presented a census that indicated that 10 million people in Brazil had some degree of deafness. Part of this population uses Libras (Brazilian Sign Language) to communicate. Even though Libras is considered the second official language of Brazil, few people are able to communicate through it, causing a social isolation of the deaf. When we look at technology as a way to help people, we notice a lack of tools that can help in the inclusion of the deaf, there are even applications that can convert text into sign language, and can serve as an interpreter for the deaf, but they are still dependent on interpreters to be understood, so there is a shortage of technologies aimed at the recognition of sign language. In the search for studies to explore this area, a recurring problem was the lack of a reliable database that could be used to train sign language recognition models. Thus, this work aimed to use data structure, machine learning, and image processing techniques to build a database that would be qualified to meet this demand. Several Python programming language libraries were used to capture landmarks of the face, posture, and hands, which were stored in a non-relational database and served as the training basis for a recurrent neural network model that could recognize the signs: please, thank you, understand, sorry, and hello. It was expected that this database could train models that could interpret signals with an accuracy rate of 70%, however the trained model obtained better results reaching 86.6% accuracy.