Catálogo de metadados como ferramenta de democratização de dados no meio corporativo

Abstract

Esta monografa visa demonstrar que a adoção de um catálogo de metadados pode, além de trazer valor para as empresas centralizando a busca de seus ativos de dados, democratizar o acesso aos mesmos, facilitando a adoção de uma cultura data driven pelas companhias. É importante contextualizar a realidade do mundo corporativo, principalmente das empresas de grande porte, que se encontram em diferentes momentos da transformação digital. Em seguida são apresentados aos leitores, conceitos intrínsecos do universo de dados corporativos como Big Data, Data Governance, Data Lake, Data Discovery, Data Quality, Machine Learning Operations, e uma breve introdução ao Data Mesh, um conceito recente que promete trazer mais agilidade e descentralização na democratização dos dados. O referencial teórico apresentará as ferramentas próprias de Big Techs e open sources que se tornaram referências no mercado e os desafios em seus desenvolvimentos. Uma pesquisa com profissionais da área sobre a percepção de valor dos catálogos de metadados, apresenta dados que corroboram com o senso comum e, ao mesmo tempo, demonstra que há margem para novos artefatos de dados possam ser contemplados por essas ferramentas. Por fim, qual o valor que o desenvolvimento e adoção dessas ferramentas podem gerar para que as decisões de negócio sejam cada vez mais baseadas em dados.

This paper aims to demonstrate that the adoption of a metadata catalog can, in addition to bringing value to companies by centralizing the search for their data assets, democratize access to them, facilitating the adoption of a data driven culture by companies. It is important to contextualize the reality of the corporate world, especially large companies, which are at different stages of digital transformation. Next, readers will be introduced to intrinsic concepts of the corporate data universe, such as Big Data, Data Governance, Data Lake, Data Discovery, Data Quality, Machine Learning Operations, and a brief introduction to Data Mesh, a recent concept that promises to bring more agility and decentralization in the democratization of data. The theoretical reference will present the Big Tech and open source tools that have become references in the market and the challenges in their development. A survey with professionals in the area about the perception of the value of metadata catalogs presents data that corroborates common sense and, at the same time, demonstrates that there is room for new data artifacts to be contemplated by these tools. Finally, what value the development and adoption of these tools can generate for business decisions to be increasingly based on data.