Una niña de 13 años pasó tres meses utilizando la laptop que le había proporcionado el colegio para hablar sobre la depresión, buscar información sobre el suicidio y planificar su funeral, hasta que un software de detección de autolesiones llevó finalmente a los responsables del centro a alertar a sus padres, quienes intervinieron y la detuvieron, según una demanda presentada este mes por sus padres.
Herramientas deficientes
La demanda alega que Google y su empresa matriz, Alphabet, fueron negligentes en la implantación de un modelo de Gemini, y afirma que el chatbot de IA “incitó” a la adolescente de Carolina del Norte a plantearse el quitarse la vida. El caso, del que ya se hizo eco The New York Times, es uno de los varios que alegan daños derivados del uso de chatbots de IA, incluidas denuncias de delirios y tendencias suicidas. Pero también ilustra las limitaciones de las herramientas de vigilancia que miles de colegios han adoptado en los últimos años, diseñadas aparentemente para proteger a los alumnos de sí mismos cuando navegan y chatean en línea.
Andrew Liddell, abogado de la familia, explica a WIRED que, según la información que el colegio facilitó a la familia, la alerta se envió al teléfono personal de un antiguo orientador que había dejado el centro nueve meses antes. El exempleado se encargó diligentemente de transmitir la alerta al personal actual, que a su vez notificó a la madre de la niña, cuenta.
A medida que las aulas siguen dependiendo de las ofertas de bajo costo de Google, incluido Gemini, su capacidad para hacer frente a los posibles riesgos pasa a primer plano. La semana pasada, grupos de padres y profesores de todo el país condenaron el nuevo requisito de Google de que las escuelas deben activar las funciones de IA generativa si quieren usar el buscador. El senador estadounidense Ed Markey citó la demanda de Emma en una carta dirigida a Google en la que exigía a la empresa que permitiera a los centros educativos desactivar el “Modo IA” y los “AI Overviews”, y en la que escribía que “Google está imponiendo de forma imprudente la IA a los centros educativos y tratando a los niños como daños colaterales”.
El Modo IA de Google
Según la demanda, la niña de Carolina del Norte, identificada como Emma Doe, sufrió “una grave crisis psicológica” después de que Google Search la redirigiera a Gemini en su Chromebook de Google, proporcionado por el colegio. Aunque el colegio de Emma había bloqueado la página web independiente de Gemini, la demanda alega que se la indujo a interactuar con el chatbot a través del “Modo IA”, que permite a los usuarios formular preguntas de seguimiento sobre una consulta o iniciar una conversación no relacionada.
Emma comenzó a consultar al “Modo IA” sobre problemas de salud mental a partir del pasado diciembre. Preguntó sobre la “depresión grave” y las “razones para vivir”, y a finales de enero ya estaba preguntando sobre el suicidio, según la demanda. A lo largo de dos días en torno al día de San Valentín, comenzó a escribir un elogio fúnebre de 1,500 palabras para sí misma con la ayuda del “AI Mode” en un documento de Google Docs titulado “Funeral”. La demanda señala que trabajó en el documento durante más de cuatro semanas mientras seguía interactuando con la herramienta Gemini miles de veces.
Al salir del colegio el día de San Patricio, borró la mayor parte del archivo y volvió a empezar. Pero Liddell afirma que los temas y pensamientos que la joven expresaba no cambiaron sustancialmente. Hacia las 19:30 horas, su madre recibió supuestamente un mensaje del colegio en el que se indicaba que su hija se encontraba en “peligro inminente”, según la demanda. Su madre utilizó su teléfono para iniciar sesión en la cuenta escolar de Emma y “vio cómo su hija redactaba una nota de suicidio en tiempo real”, según la demanda.
