La Falla de Inteligencia Artificial en un Simpatizante Revela los Riesgos de Reemplazar a los Trabajadores con Automatización

Un bot de soporte para la startup de IA Cursor inventó una política de inicio de sesión, provocando confusión, reacción negativa de los usuarios y generando serias preocupaciones sobre el servicio automatizado.

Anysphere, la startup de inteligencia artificial detrás del popular asistente de codificación Cursor, ha atravesado un momento difícil después de que su bot de soporte potenciado por IA proporcionara información falsa, provocando frustración en los usuarios y cancelaciones de suscripciones, según lo informó por primera vez Fortune.

Cursor, que se lanzó en 2023, ha experimentado un crecimiento explosivo, alcanzando $100 millones en ingresos anuales y atrayendo una valoración cercana a los $10 mil millones. Sin embargo, esta semana, su sistema de soporte se convirtió en el centro de la controversia cuando los usuarios fueron misteriosamente desconectados al cambiar de dispositivo.

Un usuario de Hacker News compartió la extraña experiencia, revelando que cuando se puso en contacto con el servicio de atención al cliente, un bot llamado “Sam” respondió con un correo electrónico diciendo que las desconexiones eran parte de una “nueva política de inicio de sesión”.

Solo había un problema: esa política no existía. La explicación era una alucinación, en términos de inteligencia artificial, para referirse a información inventada. Ningún humano estaba involucrado.

A medida que la noticia se extendía por la comunidad de desarrolladores, la confianza se erosionó rápidamente. El cofundador, Michael Truell, reconoció el problema en una publicación de Reddit, confirmando que fue una “respuesta incorrecta de un bot de soporte de inteligencia artificial de primera línea”. También señaló que el equipo estaba investigando un error que causaba las desconexiones, añadiendo: “Disculpas por la confusión aquí”.

Pero para muchos usuarios, el daño ya estaba hecho. “El soporte proporcionó la misma respuesta enlatada y probablemente generada por IA varias veces”, dijo Melanie Warrick, usuaria de Cursor y cofundadora de Fight Health Insurance. “Dejé de usarlo, el agente no funcionaba y buscar una solución era demasiado perturbador”.

Los expertos dicen que esto sirve como una señal de alerta para la dependencia excesiva de la automatización. “El soporte al cliente requiere un nivel de empatía, matices y resolución de problemas que la IA por sí sola actualmente tiene dificultades para entregar”, advirtió Sanketh Balakrishna de Datadog.

Amiran Shachar, CEO de Upwind, dijo que esto refleja errores pasados de la IA, como el chatbot de Air Canada que fabricó una política de reembolso. “La IA no entiende a tus usuarios ni cómo trabajan”, explicó. “Sin las restricciones adecuadas, ‘confiadamente’ llenará los vacíos con información no respaldada”.

Los investigadores de seguridad ahora advierten que tales incidentes podrían abrir la puerta a amenazas más graves. Una vulnerabilidad recién descubierta conocida como MINJA (Ataque de INYección de Memoria) muestra cómo los chatbots de IA con memoria pueden ser explotados a través de interacciones regulares de los usuarios, envenenando esencialmente el conocimiento interno de la IA.

MINJA permite a los usuarios malintencionados incrustar mensajes engañosos que persisten en la memoria del modelo, influenciando potencialmente las futuras conversaciones con otros usuarios. El ataque elude el acceso al backend y los filtros de seguridad, y en las pruebas mostró una tasa de éxito del 95%.

“Cualquier usuario puede afectar fácilmente la ejecución de la tarea de cualquier otro usuario. Por lo tanto, decimos que nuestro ataque es una amenaza práctica para los agentes LLM”, dijo Zhen Xiang, profesor asistente en la Universidad de Georgia.

Sin embargo, a pesar de estos riesgos, la confianza empresarial en los agentes de IA está en aumento. Una encuesta reciente a más de 1,000 líderes de TI encontró que el 84% confía en los agentes de IA tanto o más que en los humanos. Con el 92% esperando resultados empresariales medibles dentro de 18 meses, y el 79% priorizando la implementación de agentes este año, el impulso empresarial es claro, incluso mientras las preocupaciones de privacidad y los riesgos de alucinación siguen siendo obstáculos

Mientras que los agentes de IA prometen reducir los costos laborales, un solo error puede dañar la confianza del cliente. “Este es exactamente el peor escenario posible”, dijo un experto a Fortune.

El caso de Cursor es ahora un cuento de advertencia para las startups: incluso los bots más inteligentes pueden causar daños reales si se dejan sin supervisión.