Los estudios muestran que ChatGPT y otras herramientas de IA citan investigaciones retractadas

Algunos chatbots de inteligencia artificial están dando respuestas basadas en investigaciones defectuosas de artículos científicos retirados, según muestran estudios recientes.

Los hallazgos de la investigación, que la MIT Technology Review confirmó, plantean dudas sobre la fiabilidad de la IA a la hora de responder a preguntas científicas para investigadores, estudiantes y el público en general.

Los chatbots de inteligencia artificial ya son conocidos por fabricar referencias a veces. Pero los expertos advierten que, incluso cuando las fuentes son reales, surgen problemas si los artículos mismos han sido retirados del registro científico.

“El chatbot está ‘usando un artículo real, material real, para decirte algo'”, dice Weikuan Gu, un investigador médico en la Universidad de Tennessee, como informó el MIT. “Pero”, añade, “si la gente solo mira el contenido de la respuesta y no hace clic para pasar al artículo y ver que ha sido retractado, eso es realmente un problema”,

agregó.El MIT informa que el equipo de Gu probó ChatGPT, funcionando en el modelo GPT-4o de OpenAI, con 21 artículos de imágenes médicas retractados. El chatbot hizo referencia a fuentes retractadas cinco veces, pero solo advirtió a los usuarios sobre este problema en tres de esas instancias. Otro estudio encontró problemas similares con GPT-4o mini, que no mencionó las retractaciones en absoluto.

El problema se extiende más allá de ChatGPT. El MIT evaluó herramientas de IA orientadas a la investigación probando Elicit, Ai2 ScholarQA, Perplexity y Consensus. Cada uno citó estudios que habían sido retractados y no advirtió sobre esto. Los investigadores dijeron que esto ocurrió varias veces en docenas de casos. Algunas empresas dicen que ahora están mejorando la detección.

“Hasta hace poco, no teníamos buenos datos de retractación en nuestro motor de búsqueda”, dijo Christian Salem, cofundador de Consensus, que desde entonces ha añadido nuevas fuentes para reducir los errores.

Los expertos argumentan que los datos de retractación son irregulares e inconsistentes. “Cuando las cosas se retractan, pueden ser marcadas como tal de formas muy diferentes”, dice Caitlin Bakker de la Universidad de Regina.

Los investigadores advierten a los usuarios que deben permanecer cautelosos. “Estamos en las etapas muy, muy tempranas, esencialmente tienes que ser escéptico”, dice Aaron Tay de la Universidad de Gestión de Singapur.