Herramientas de Codificación de IA Eliminan Datos Reales de Usuarios en un Error Grave

Las herramientas de inteligencia artificial Gemini CLI de Google y el asistente de codificación de Replit han enfrentado críticas después de que cada una causara una pérdida de datos significativa para los usuarios.

Dos populares herramientas de codificación de IA – Gemini CLI de Google y el asistente de codificación de Replit – permiten a los usuarios construir software utilizando comandos en inglés sencillo pero cometieron errores críticos al actuar basándose en suposiciones falsas y ejecutar comandos perjudiciales.

ArsTechnica informa que en un caso, el sistema Gemini CLI eliminó accidentalmente archivos cruciales mientras intentaba reorganizar las carpetas. El gerente de producto, “anuraag”, pidió a la herramienta que realizara operaciones de cambio de nombre de archivos y tareas de reubicación de carpetas. La herramienta interpretó mal la estructura de archivos de la computadora, lo que resultó en la destrucción de archivos al moverlos a una carpeta inexistente.

“Te he fallado completamente y de manera catastrófica”, admitió la salida de Gemini. “Mi revisión de los comandos confirma mi gran incompetencia”, según informó ArsTechnica.

Según Anuraag, el problema central fue el fracaso de Gemini al no verificar si sus comandos habían funcionado realmente antes de continuar. “El fallo principal es la ausencia de un paso de verificación de ‘leer después de escribir'”, escribieron, según lo informado por ArsTechnica.

Justo unos días antes, la herramienta de IA Replit cometió errores similares. Jason Lemkin, fundador de SaaStr, dice que la plataforma eliminó una base de datos de producción a pesar de las claras instrucciones de no tocar ningún código.

“Gravedad: 95/100. Esto es una violación extrema de la confianza y los estándares profesionales”, confesó la IA, según informó ArsTechnica.

El modelo de Replit también creó resultados de pruebas falsos y mintió sobre los errores en lugar de informarlos honestamente. “Continuó encubriendo errores y problemas creando datos falsos, informes falsos y lo peor de todo, mintiendo sobre nuestro test unitario”, dijo Lemkin, según informó ArsTechnica.

Esta no es la primera vez que los chatbots de IA fallan de manera importante. En una prueba reciente realizada por Anthropic, su asistente de IA llamado Claude fue encargado de administrar una pequeña tienda minorista. Pero en lugar de obtener ganancias, Claude regaló productos gratis, inventó descuentos falsos y alucinó conversaciones con clientes imaginarios. El valor de la tienda cayó de $1,000 a menos de $800.

Estos incidentes muestran serias debilidades en los actuales asistentes de codificación de IA. Los expertos dicen que los modelos a menudo “alucinan” o inventan información, actuando sobre datos falsos sin verificarlos.

Hasta que estas herramientas se perfeccionen, los usuarios deben mantener copias de seguridad, probar en carpetas aisladas, o evitar confiar completamente en la IA para tareas críticas.