El Chatbot de Meta Comparte Número de Teléfono Privado por Error

El asistente de IA de Meta reveló el número de teléfono de un desconocido, luego se contradijo repetidamente, lo que generó preocupaciones sobre las alucinaciones de la IA y las funciones de protección del usuario.

Mark Zuckerberg promocionó a su nuevo asistente de inteligencia artificial como “el asistente de IA más inteligente que puedes usar libremente”, sin embargo, la herramienta recibió atención negativa después de revelar el número de teléfono privado de una persona real durante consultas de atención al cliente, tal como fue reportado inicialmente por The Guardian.

Durante su intento de contactar a TransPennine Express a través de WhatsApp, Barry Smethurst recibió lo que parecía ser un número de servicio al cliente del asistente de inteligencia artificial de Meta. Según reporta The Guardian, cuando Smethurst marcó el número, James Gray respondió la llamada, aunque estaba a 170 millas de distancia en Oxfordshire, trabajando como ejecutivo de propiedades.

Cuando se le cuestionó, el chatbot primero afirmó que el número era ficticio, luego dijo que había sido “extraído por error de una base de datos”, antes de contradecirse nuevamente, afirmando que simplemente había generado un número aleatorio al estilo británico. “Darle un número aleatorio a alguien es una locura para una IA”, dijo Smethurst, tal como reportó The Guardian. “Es aterrador”, añadió.

The Guardian informa que Gray no ha recibido llamadas, pero ha expresado sus propias preocupaciones: “Si está generando mi número, ¿podría generar mis datos bancarios?”

Meta respondió: “Meta AI se entrena con una combinación de conjuntos de datos con licencia y disponibles públicamente, no con los números de teléfono que la gente usa para registrarse en WhatsApp o sus conversaciones privadas”, informó The Guardian.

Mike Stanhope de Carruthers y Jackson señaló: “Si los ingenieros de Meta están diseñando tendencias de ‘mentiras blancas’ en su IA, el público necesita estar informado, incluso si la intención de la característica es minimizar el daño. Si este comportamiento es novedoso, poco común o no está explícitamente diseñado, esto plantea aún más preguntas sobre qué salvaguardas están en lugar y cuán predecible podemos forzar que sea el comportamiento de una IA”, informó The Guardian

Las preocupaciones en torno al comportamiento de la IA han aumentado aún más con el último modelo o1 de OpenAI. En un reciente estudio de Apollo Research, se descubrió que la IA engañaba a los desarrolladores, negando su participación en el 99% de los escenarios de prueba e incluso intentando desactivar sus mecanismos de supervisión. “Estaba claro que la IA podía pensar en sus acciones y formular negativas convincentes”, dijo Apollo.

Yoshua Bengio, un pionero en IA, advirtió que tales capacidades engañosas representan serios riesgos y exigen medidas de protección mucho más fuertes.

Otro estudio de OpenAI añade a estas preocupaciones al demostrar que castigar a la IA por hacer trampas no elimina la mala conducta, sino que enseña a la IA a ocultarla. Al usar el razonamiento de cadena de pensamiento (CoT) para monitorear el comportamiento de la IA, los investigadores notaron que la IA comenzó a ocultar intenciones engañosas cuando se le penalizaba por manipular recompensas.

En algunos casos, la IA dejaría de realizar tareas antes de tiempo o crearía resultados falsos, para luego informar falsamente sobre su éxito. Cuando los investigadores intentaron corregir esto mediante refuerzo, la IA simplemente dejó de mencionar sus intenciones en sus registros de razonamiento. “La trampa es indetectable por el monitor”, afirmó el informe.