La Herramienta Elsa de la FDA Enfrenta Críticas Por Alucinar Datos Científicos

La nueva herramienta de IA de la FDA, Elsa, promete acelerar las aprobaciones de medicamentos, pero los expertos médicos advierten que esta herramienta genera investigaciones fabricadas, lo que produce riesgos de seguridad adicionales.

En junio, la FDA lanzó a Elsa como su nueva herramienta de inteligencia artificial para acelerar los procedimientos de aprobación de medicamentos. El comisionado de la FDA, el Dr. Marty Makary, declaró que el sistema se completaría antes de lo previsto y se mantendría dentro del presupuesto.

Sin embargo, miembros del personal de la FDA comunicaron recientemente a CNN que Elsa requiere de un desarrollo adicional antes de que pueda ser utilizada en aplicaciones prácticas.

Se supone que Elsa debe ayudar a los científicos de la FDA mediante la realización de resúmenes de datos y la optimización del proceso de revisión. Sin embargo, CNN señala que los empleados actuales y anteriores de la FDA informan que Elsa alucina y genera información falsa. De hecho, la herramienta parece fabricar nuevos estudios o distorsionar los existentes, lo que la hace arriesgada para su uso en trabajos científicos serios.

“Cualquier cosa que no tengas tiempo para verificar dos veces es poco confiable. Alucina con confianza”, dijo un empleado de la FDA a CNN. Otro agregó: “Se supone que la IA nos ahorra tiempo, pero te garantizo que pierdo mucho tiempo extra solo debido a la vigilancia intensificada que debo tener”.

CNN señala que actualmente, Elsa no se utiliza para las revisiones de medicamentos o dispositivos porque no puede acceder a documentos importantes como las presentaciones de las empresas. El jefe de IA de la FDA, Jeremy Walsh, reconoció el problema: “Elsa no es diferente a muchos de los [large language models] y la IA generativa […] Podrían potencialmente alucinar”, según informó CNN

Los funcionarios de la FDA aseguran que principalmente se está utilizando a Elsa para organizar tareas, como resumir las notas de las reuniones. Tiene una interfaz sencilla que invita a los usuarios a “Preguntarle cualquier cosa a Elsa”.

No se requiere que el personal utilice la herramienta. “No tienen que usar a Elsa si no consideran que tiene valor”, dijo Makary a CNN.

Aun así, sin regulaciones federales para la IA en medicina, los expertos advierten que es un camino arriesgado. “Es realmente algo así como el Salvaje Oeste en este momento”, dijo el Dr. Jonathan Chen de la Universidad de Stanford, a CNN.

A medida que la adopción de la IA en ciencia está creciendo rápidamente, con más de la mitad de los investigadores afirmando que la IA ya supera a los humanos en tareas como resumir y verificar el plagio.

Sin embargo, aún persisten desafíos significativos. Una encuesta a 5,000 investigadores encontró que el 81% se preocupa por la precisión, el sesgo y los riesgos a la privacidad de la IA. Muchos ven la falta de orientación y formación como una barrera importante para el uso seguro de la IA.

Los expertos enfatizan la urgente necesidad de una ética y educación de IA más claras para evitar su mal uso. Aunque la IA muestra promesa, los investigadores coinciden en que la supervisión humana sigue siendo crucial para mantener la integridad científica.