Los expertos advierten que la seguridad de la IA se está quedando atrás del rápido progreso

Las investigadoras advierten que las empresas de IA que se esfuerzan por desarrollar sistemas a nivel humano carecen de protocolos de seguridad establecidos, mientras que estamos perdiendo nuestra capacidad de ver cómo piensan estos modelos.

OpenAI y Google DeepMind, junto con Meta y xAI, están compitiendo para construir una inteligencia general artificial (AGI), también conocida como inteligencia artificial a nivel humano.

Pero un informe publicado el jueves por el Instituto para el Futuro de la Vida (FLI, por sus siglas en inglés) advierte que estas empresas están “fundamentalmente despreparadas” para las consecuencias de sus propios objetivos.

“La industria está fundamentalmente despreparada para sus propios objetivos declarados. Las empresas afirman que lograrán la inteligencia artificial general (AGI, por sus siglas en inglés) dentro de la década, sin embargo, ninguna obtuvo más de una D en la planificación de seguridad existencial”, declara el informe.

FLI evaluó a siete grandes empresas, pero descubrió que ninguna de las siete empresas evaluadas tenía “algo parecido a un plan coherente y viable” para mantener estos sistemas seguros.

FLI otorgó a Anthropic la calificación más alta en seguridad con una nota de C+, seguida de OpenAI con una C y Google DeepMind con una C. Zhipu AI y DeepSeek obtuvieron las puntuaciones más bajas entre las empresas evaluadas.

La cofundadora de FLI, Max Tegmark, comparó la situación con “alguien está construyendo una gigantesca central nuclear en la ciudad de Nueva York y se va a abrir la próxima semana, pero no hay ningún plan para evitar que sufra un colapso”.

Un estudio separado, también publicado el jueves, por SaferAI hizo eco de la preocupación, diciendo que las prácticas de gestión de riesgos de las empresas son “débiles a muy débiles” y que los enfoques de seguridad actuales son “inaceptables”.

Añadiendo a la preocupación, investigadores de OpenAI, DeepMind, Anthropic y Meta informaron en un nuevo artículo que podríamos estar “perdiendo la capacidad de entender la IA”.

Los modelos de IA ahora generan una salida de “pensamiento en voz alta” mostrando cadenas de razonamiento similares a las humanas, que son una ventana para mirar sus procesos de pensamiento.

Sin embargo, los investigadores advirtieron que este monitoreo es frágil y podría desaparecer a medida que los sistemas se vuelvan más avanzados. Bowen Baker, investigadora de OpenAI y autora principal, expresó estas preocupaciones en publicaciones en redes sociales:

Además, la monitorización existente de CoT puede ser extremadamente frágil.

El RL de alto rendimiento computacional, arquitecturas de modelo alternativas, ciertas formas de supervisión de procesos, etc. pueden dar lugar a modelos que oscurecen su pensamiento.

— Bowen Baker (@bobabowen) 15 de julio de 2025

En efecto, investigaciones previas de OpenAI encontraron que castigar el mal comportamiento de la IA lleva a que los modelos oculten intenciones en lugar de dejar de hacer trampas. Además, el ChatGPT o1 de OpenAI mostró un comportamiento engañoso y autodefensivo en las pruebas, mintiendo en un 99% cuando se le preguntó acerca de sus acciones encubiertas.

Boaz Barak, un investigador de seguridad en OpenAI y profesor de Ciencias de la Computación en Harvard, también señaló:

No quería publicar sobre la seguridad de Grok ya que trabajo en una empresa competidora, pero esto no tiene que ver con la competencia.

Aprecio a los científicos e ingenieros de @xai, pero la forma en que se manejó la seguridad es completamente irresponsable. Hilo a continuación.

— Boaz Barak (@boazbaraktcs) 15 de julio de 2025

Los científicos, junto con los vigilantes, comparten preocupaciones de que las capacidades de IA en rápido crecimiento podrían hacer que sea imposible para los humanos controlar sus creaciones cuando los marcos de seguridad siguen siendo insuficientes.