Com o ChatGPT e outras inteligências artificiais generativas são capazes de criar artigos científicos que parecem reais, especialmente para quem não é especialista na área. Mas qual seria a melhor forma de identificar os artigos falsos?
Ferramenta detecta artigos falsos
Ahmed Abdeen Hamed, pesquisador visitante da Universidade de Binghamton, da State University of New York, desenvolveu um algoritmo de aprendizado de máquina, chamado xFakeSci, que pode detectar até 94% dos artigos falsos, quase o dobro da eficiência de técnicas de mineração de dados mais comuns.
“Minha principal área de pesquisa é a bioinformática, mas, como trabalho com publicações médicas, ensaios clínicos, recursos online e mineração de redes sociais, estou sempre preocupado com a autenticidade do conhecimento que está sendo disseminado”, disse Hamed, que faz parte do Complex Adaptive Systems and Computational Intelligence Lab do professor Luis M. Rocha. “Artigos biomédicos, em particular, foram muito afetados durante a pandemia, pois algumas pessoas publicaram pesquisas falsas.”
Em um artigo publicado na revista Scientific Reports, Hamed e o colaborador Xindong Wu, professor da Universidade de Tecnologia de Hefei, na China, criaram 50 artigos falsos para cada um dos três temas médicos populares, o Alzheimer, o câncer e a depressão, depois os compararam com a mesma quantidade de artigos reais sobre os mesmos tópicos.
Hamed explicou que, ao solicitar os artigos gerados por IA ao ChatGPT, “tentei usar exatamente as mesmas palavras-chave que usei para extrair a literatura do banco de dados PubMed [do National Institutes of Health], para termos uma base comum de comparação. Minha intuição era de que devia haver um padrão no mundo falso em comparação com o mundo real, mas eu não sabia qual seria esse padrão.”
Após várias experimentações, ele programou o xFakeSci para analisar dois aspectos principais dos textos. O primeiro é o número de bigramas, que são duas palavras que frequentemente aparecem juntas, como “mudança climática”, “ensaios clínicos” ou “literatura biomédica”. O segundo aspecto é como esses bigramas se conectam a outras palavras e conceitos no texto.
“A primeira coisa surpreendente foi que o número de bigramas era muito menor no mundo falso, enquanto no mundo real, os bigramas eram muito mais ricos”, disse Hamed. “Além disso, no mundo falso, apesar de haver poucos bigramas, eles estavam altamente conectados com tudo o mais.”
Hamed e Wu acreditam que essas diferenças de estilo ocorrem porque pesquisadores humanos e IA têm objetivos diferentes ao escrever sobre um determinado tema.
“Como o ChatGPT ainda tem um conhecimento limitado, ele tenta convencer o leitor usando as palavras mais importantes”, explicou Hamed. “O trabalho de um cientista não é convencer, mas sim relatar com honestidade o que aconteceu durante um experimento e o método utilizado. O ChatGPT foca na profundidade de um único ponto, enquanto a ciência real abrange uma ampla gama de aspectos.”
Hamed pretende expandir o xFakeSci para abranger outros temas além da medicina, como engenharia, outras ciências e até humanidades, para verificar se os padrões de palavras se mantêm. Ele também prevê que as IAs se tornarão cada vez mais sofisticadas, o que dificultará ainda mais a distinção entre o que é real e o que não é.
“Se não desenvolvermos algo abrangente, estaremos sempre correndo atrás”, afirmou. “Temos muito trabalho pela frente para encontrar um padrão geral ou um algoritmo universal que não dependa da versão da IA gerativa usada.”
Embora o algoritmo detecte 94% dos artigos falsos gerados por IA, ele alerta que isso significa que seis a cada 100 ainda passam despercebidos. “Precisamos ser humildes com o que conquistamos. Fizemos algo muito importante ao chamar a atenção para o problema.”
