Análise de ferramentas de verificação de IA: uma aplicação em textos jornalísticos

Abstract

O presente trabalho investiga a confiabilidade de ferramentas de detecção de conteúdo gerado por Inteligência Artificial no contexto de textos jornalísticos. Com a crescente utilização de tecnologias de IA generativa, especialmente modelos de linguagem como ChatGPT, enfrentam-se desafios crescentes para verificar a autoria da produção textual jornalística. Este estudo tem como objetivo avaliar e comparar o desempenho de três ferramentas comerciais de detecção (ZeroGPT, GPTZero e Originality.AI), analisando sua precisão, confiabilidade e adequação para identificar textos de diferentes origens. A pesquisa adota metodologia quantitativa e comparativa, estruturada em quatro etapas principais: seleção de material textual diversificado, criação dos textos híbridos e artificiais, submissão às ferramentas de detecção e análise estatística dos resultados. O material compreende 12 textos distribuídos em três categorias: 100% humanos, 100% gerados por IA e híbridos. Para cada texto, foram registradas, a partir da submissão às três plataformas, as métricas percentuais de classificação. Os dados foram organizados em tabelas analíticas individuais e consolidados em médias por categoria e por ferramenta, possibilitando análise comparativa sistemática. O resultado obtido foi que as ferramentas de detecção não atendem ao percentual de acerto que elas propagam.

This study investigates the reliability of Artificial Intelligence-generated content detection tools in the context of journalistic texts. With the growing use of generative AI technologies, especially language models like ChatGPT, there are increasing challenges to verify the authorship of journalistic textual production. This study aims to evaluate and compare the performance of three commercial detection tools (ZeroGPT, GPTZero, and Originality.AI), analyzing their accuracy, reliability, and suitability for identifying texts from different origins. The research adopts a quantitative and comparative methodology, structured in four main stages: selection of diversified textual material, creation of hybrid and artificial texts, submission to detection tools, and statistical analysis of the results. The material comprises 12 texts distributed into three categories: 100% human, 100% AI-generated, and hybrid. For each text, the percentage classification metrics were recorded after submission to the three platforms. The data were organized into individual analytical tables and consolidated into averages per category and per tool, enabling systematic comparative analysis. The obtained result was that the detection tools do not achieve the accuracy percentages they propagate.