Adolescente Arrestado Después de que la Vigilancia Escolar por IA Malinterpreta una Broma en Línea

Una niña de 13 años de Tennessee fue arrestada después de que un sistema escolar de inteligencia artificial malinterpretara su broma en línea, generando preocupaciones sobre la vigilancia a los estudiantes.

Lesley Mathis, la madre de la chica, dijo que el comentario de la adolescente fue “incorrecto” pero no una amenaza real. “Me hizo sentir como, ¿es esta la América en la que vivimos? Y fue esta estúpida, estúpida tecnología la que simplemente está pasando recogiendo palabras al azar y no mirando el contexto”, dijo Mathis según lo informado por Fortune, que fue el primero en detallar la historia.

Ese mismo día, sus amigas se habían burlado de su bronceado y la habían llamado “mexicana”, aunque ella no lo es. Cuando le preguntaron sobre sus planes para el jueves, ella respondió, “el jueves matamos a todos los mexicanos” en un chat escolar supervisado por un software llamado Gaggle.

Para la mañana siguiente, fue interrogada, le hicieron un registro corporal íntegro y la mantuvieron en la cárcel durante la noche. Un tribunal ordenó ocho semanas de arresto domiciliario, una evaluación psicológica y veinte días en una escuela alternativa.

Las escuelas de todo Estados Unidos ahora utilizan tecnología de IA para monitorear las comunicaciones de los estudiantes en busca de signos de violencia o autolesión. Sistemas como Gaggle y Lightspeed Alert operan en miles de distritos, alertando al personal escolar y a las fuerzas del orden. Sin embargo, las herramientas de vigilancia escolar impulsadas por IA plantean riesgos significativos a pesar de su promesa de seguridad.

La AP señala cómo la información sensible de los estudiantes puede quedar expuesta inadvertidamente, como se vio cuando miles de documentos desprotegidos estaban accesibles en línea. Estas herramientas pueden generar falsas alarmas, identificar erróneamente las amenazas o delatar a estudiantes LGBTQ+, erosionando la confianza entre los estudiantes, las familias y los educadores.

La AP añade que la sobre vigilancia puede inducir estrés y limitar la sana autoexpresión, mientras que los beneficios a largo plazo poco claros y la dependencia de recursos de salud mental inadecuados generan inquietudes éticas y de desarrollo.

Un análisis de las alertas de Gaggle en Kansas, informado en otro número por la AP, encontró que casi dos tercios de los incidentes fueron falsas alarmas, activadas por tareas o fotos eliminadas.

Los estudiantes también han sido señalados por editar ensayos o publicar bromas en plataformas privadas, demostrando cómo la vigilancia de la IA puede criminalizar el comportamiento adolescente ordinario.

“Ha rutinizado el acceso y la presencia de la aplicación de la ley en la vida de los estudiantes, incluyendo en su hogar”, dijo Elizabeth Laird, directora en el Centro para la Democracia y la Tecnología, según informó Fortune.

Jeff Patterson, el CEO de Gaggle, dijo que la escuela de Tennessee hizo un mal uso del software. “Desearía que se hubiera tratado como un momento de aprendizaje, no como un momento de aplicación de la ley”, dijo.

A menudo, los estudiantes no se dan cuenta de que se están monitoreando sus mensajes privados. “Si un adulto hace una broma súper racista que es amenazante en su computadora, puede eliminarla y no sería arrestado”, dijo Alexa Manganiotis, de 16 años, una estudiante en Florida.

Los críticos advierten que la vigilancia de la IA puede traumatizar a los niños. Sam Boyd del Southern Poverty Law Center dijo que las evaluaciones de salud mental involuntarias a menudo se sienten “traumáticas y dañinas”, según informó Fortune.

De hecho, AP señala que la velocidad y el alcance de la monitorización de la IA pueden ser sorprendentes. Una broma en Snapchat sobre tiroteos escolares en Florida desencadenó tanto la participación del FBI como una detención inmediata, mientras que las alertas de Lightspeed detectaron mensajes eliminados, lo que resultó en intervenciones escolares rápidas.

El sistema de alerta Gaggle en el condado de Polk generó cientos de alertas durante cuatro años, conduciendo a evaluaciones de salud mental involuntarias que los estudiantes describieron más tarde a AP como experiencias traumáticas.

Solo en el condado de Polk, cientos de alertas de Gaggle durante cuatro años desencadenaron evaluaciones de salud mental involuntarias, algunas de las cuales los estudiantes describieron como traumáticas.

Dos años después, Mathis dijo que su hija está mejorando pero sigue “aterrorizada” de encontrarse con los oficiales que la arrestaron. “Es como si solo quisiéramos que los niños fueran estos pequeños soldados, y no lo son”, dijo. “Son solo humanos”.