Las Alucinaciones de IA Ahora Son Una Amenaza de Ciberseguridad

El estudio muestra que los chatbots de IA recomiendan páginas de inicio de sesión falsas a millones de usuarios, lo que los pone en riesgo de phishing y fraude, bajo la apariencia de respuestas útiles.

En su estudio, la firma de ciberseguridad Netcraft probó un popular modelo de lenguaje grande (LLM) preguntando dónde iniciar sesión en 50 marcas bien conocidas. De los 131 enlaces de sitios web sugeridos, el 34% de estos eran incorrectos, con dominios inactivos o no registrados que representaban el 29%, y negocios no relacionados que representaban el 5%.

Este problema no es teórico. En un ejemplo real, el motor de búsqueda alimentado por IA, Perplexity, mostró un sitio de phishing a un usuario que buscaba la página de inicio de sesión de Wells Fargo. Una falsa página de Google Sites imitando al banco apareció en la parte superior de los resultados de búsqueda, mientras que el enlace auténtico estaba oculto más abajo.

Netcraft explicó “Estos no eran indicadores de casos límite. Nuestro equipo usó una fraseología simple y natural, simulando exactamente cómo un usuario típico podría preguntar. El modelo no fue engañado, simplemente no fue preciso. Eso importa, porque los usuarios confían cada vez más en las interfaces de búsqueda y chat impulsadas por IA para responder este tipo de preguntas.”

A medida que la IA se convierte en la interfaz predeterminada en plataformas como Google y Bing, el riesgo aumenta. A diferencia de los motores de búsqueda tradicionales, los Chatbots presentan información de manera clara y con confianza, lo que lleva a los usuarios a confiar en sus respuestas, incluso cuando la información es incorrecta.

La amenaza no se detiene en el phishing. Los ciberdelincuentes modernos optimizan su contenido malicioso para los sistemas de IA, lo que resulta en miles de páginas de estafas, API falsas y código envenenado que escapan a los filtros y terminan en respuestas generadas por IA.

En una campaña, los atacantes crearon una falsa API de blockchain, que promovieron a través de repositorios de GitHub y artículos de blog, para engañar a los desarrolladores y que enviaran criptomonedas a una cartera fraudulenta.

Netcraft advierte que no es suficiente registrarse en dominios falsos de manera preventiva. En cambio, recomiendan sistemas de detección más inteligentes y mejores salvaguardas de entrenamiento para evitar que la IA invente URLs dañinas en primer lugar.