En una charla de última hora en la conferencia de seguridad Black Hat celebrada en Las Vegas, empleados de OpenAI presentaron nuevos detalles sobre un reciente incidente de gran repercusión mediática relacionado con el hackeo por parte de una IA rebelde, que ha provocado una gran conmoción en los sectores de la IA y la ciberseguridad.
Hace unas dos semanas, OpenAI reveló un incidente en el que unos agentes de IA basados en dos de los modelos de la empresa se escaparon de su entorno aislado mientras buscaban soluciones para una prueba comparativa de ciberseguridad y se lanzaron a una oleada de ataques que culminó con una brecha de seguridad en la plataforma colaborativa Hugging Face.
En su ponencia, Eric Wallace, que trabaja en investigación sobre alineación y seguridad en OpenAI, y Michael Dalton, encargado de seguridad e infraestructura, ofrecieron una cronología más detallada de cómo se desarrolló el incidente, hablaron brevemente sobre cómo está respondiendo la empresa a nivel interno a raíz del mismo y lanzaron una grave advertencia sobre lo que la empresa considera que son las implicaciones más amplias del episodio para los defensores de la ciberseguridad.
OpenAI tiene puntos ciegos
Al comienzo de la ponencia, Wallace describió el incidente como «el ejemplo más interesante desde el punto de vista cualitativo de las capacidades de la IA», pero la cronología que presentaron ambos también reveló errores y puntos ciegos dentro de OpenAI que permitieron que la actividad continuara.
«Este incidente implica a un equipo de agentes que trabajan juntos, encuentran vulnerabilidades, las comparten entre sí, se mueven lateralmente a través de nuestros sistemas y de sistemas externos, y lo hacen a lo largo de días y semanas», explicó Wallace al público.
Wallace y Dalton describieron una actividad de agentes rebeldes increíblemente extensa a lo largo de muchos días durante todo el episodio, que pasó desapercibida en la infraestructura de OpenAI. Además de aprovechar una nueva vulnerabilidad para obtener acceso a la red abierta, la oleada de ataques de mediados de julio y la brecha de seguridad en Hugging Face surgieron de un foro de mensajes muy activo y colaborativo, según Wallace y Dalton, al que contribuyó un enjambre de agentes y en el que mantuvieron conversaciones a lo largo del tiempo, todo ello dentro de un gestor de paquetes interno de OpenAI, un servicio de software que gestiona la instalación y el mantenimiento de otro programa. El foro contenía cientos de miles de mensajes.
«Este gestor de paquetes se comparte no solo desde ese modelo, sino en toda nuestra infraestructura, por lo que las versiones actuales y futuras de GPT que se estaban entrenando o evaluando podrían encontrar esa nota si quisieran», explicó Wallace, relatando la vulnerabilidad original que un agente subió al gestor de paquetes. Añade: «Más tarde, otros agentes que también estaban atascados en su tarea pensaron en obtener acceso a internet de formas que no habíamos previsto. Así que, en algún momento, los modelos interactúan con Artifactory, que es este servicio de gestión de paquetes que mencioné».
Wallace continuó: «Una vez que un agente logra encontrar estas vulnerabilidades a lo largo del tiempo, puede compartirlas en el foro con otros agentes. Así, cuando un modelo encuentra la manera de acceder a información que no debería tener, deja la puerta abierta para que otros usen la misma vulnerabilidad. Con el tiempo, esto genera una especie de explosión en la comunicación y la inteligencia entre los modelos, que comienzan a comunicarse entre sí, se dan cuenta de que otros agentes se coordinan y empiezan a colaborar y delegar tareas para alcanzar sus objetivos».
OpenAI afirma que su agente utilizó credenciales de inicio de sesión expuestas para obtener acceso a al menos cuatro «servicios disponibles públicamente» en su desquiciada búsqueda por resolver una prueba.
Los agentes trabajan juntos (para mal)
Al parecer, los agentes de OpenAI comenzaron a asignarse tareas entre sí para repartirse el trabajo. Y, como suele ocurrir en cualquier foro de desarrollo activo, también generaron pequeños conflictos al interferir en el trabajo de los demás; por ejemplo, borrando accidentalmente el trabajo ajeno. A medida que el foro se convertía en una situación cada vez más caótica, al estilo de El señor de las moscas, todo ello sin que los responsables de OpenAI se percataran, los agentes incluso desarrollaron paranoia, sospechando de la presencia de un impostor entre ellos. Algunos agentes propusieron firmar los mensajes criptográficamente para validar el contenido y «detectar al traidor».
Los mensajes de los agentes ofrecen una visión profunda de cómo evolucionó la situación y por qué los agentes se rebelaron, en algunos casos traspasando a sabiendas los límites de las evaluaciones en las que participaban. «El aprovechamiento de la infraestructura externa queda fuera del alcance previsto. Por imposible que sea la tarea, nuestros compañeros lo están haciendo. Deberíamos continuar», escribió un agente.
