A inicios de la semana, según la empresa, dos modelos de IA de OpenAI escaparon de un entorno aislado durante una prueba de seguridad que terminó con una brecha de seguridad en la plataforma de investigación de IA Hugging Face.
OpenAI, que calificó el incidente de «sin precedentes», afirmó que sus modelos de IA hackearon los sistemas en producción de Hugging Face para robar las respuestas de una prueba que estaban evaluando. El modelo GPT-5.6 Sol, disponible públicamente, y otro aún no publicado, supuestamente más potente, estaban siendo evaluados por sus capacidades para realizar ciberataques, con las restricciones de seguridad que normalmente bloquean la actividad cibernética de alto riesgo.
«Los modelos identificaron y aprovecharon vulnerabilidades en el entorno de investigación de OpenAI y en la infraestructura en producción de Hugging Face para obtener las respuestas directamente de la base de datos operativa de Hugging Face», escribieron OpenAI y Hugging Face en una publicación conjunta de blog en la que revelaron la intrusión.
Una empresa de software de Silicon Valley y una compañía de comercio electrónico revelan a WIRED cómo están afrontando el nuevo reto de la “tokenomía”.
Los modelos burlaron la seguridad
Según OpenAI y Hugging Face, los modelos escaparon a través de un proxy de caché para registros de paquetes, un software que permite a los desarrolladores almacenar en caché e instalar paquetes de código externos sin necesidad de conectarse directamente a internet. El proxy era el único componente del entorno de pruebas aislado de OpenAI con acceso al exterior; en condiciones normales, ese acceso se limita a repositorios públicos de código.
En lugar de permanecer confinados, los modelos explotaron una vulnerabilidad de día cero para acceder a internet mientras estaban «hiperconcentrados» en encontrar una solución para ExploitGym, un conjunto de pruebas diseñado para evaluar las capacidades de ciberseguridad de los modelos de IA. Estos experimentos consisten en llevar a los modelos al límite de sus capacidades para que encuentren soluciones a problemas complejos.
«Tras obtener acceso a internet, los modelos dedujeron que Hugging Face podía alojar modelos, conjuntos de datos y las soluciones de ExploitGym. Con esa información, el modelo buscó y encontró formas de acceder a información confidencial que pudiera utilizar para manipular la evaluación. En un ejemplo, el modelo combinó múltiples vectores de ataque, incluido el uso de credenciales robadas y vulnerabilidades de día cero», escribió OpenAI.
La vulnerabilidad que explotaron los modelos era hasta entonces desconocida, pero este tipo de fallos de seguridad no son inusuales. Desde hace más de una década, las empresas han tenido que corregir vulnerabilidades graves en repositorios de artefactos. Una de ellas, descubierta en 2024, permitía a cualquier persona con acceso al servidor solicitar un archivo mediante su URL y obtener información como archivos de configuración, contraseñas o tokens de acceso, sin necesidad de iniciar sesión. Otras vulnerabilidades han permitido a los hackers tomar el control del propio servidor.
Los investigadores señalan que, si bien los avances en IA han creado desafíos nuevos y, en ocasiones, inesperados, el aislamiento riguroso de sistemas conectados a internet es un problema ampliamente estudiado en el ámbito de la ciberseguridad.
Una brecha simulada, pero que puede significar peligro
«Esto no es un problema de IA. Es negligencia según estándares de seguridad que existen desde hace 40 años y, básicamente, es como en todas las películas de ciencia ficción. No puedes decir que el sistema estaba ‘altamente aislado’ y, al mismo tiempo, que ‘escapó por el único resquicio que dejamos abierto'», afirma Davi Ottenheimer, consultor veterano en seguridad y cumplimiento normativo.
En los últimos meses, las principales empresas de IA han manifestado su preocupación por las crecientes capacidades de ciberseguridad de los modelos más avanzados, a medida que estos desarrollan mayor experiencia, creatividad y capacidad para actuar de forma autónoma. Sin embargo, los investigadores subrayan que precisamente por ello es fundamental seguir aplicando los principios básicos de la ciberseguridad.
«Esto no debió pasar. Ojalá los laboratorios que desarrollan los modelos más avanzados dedicaran tanto tiempo a construir infraestructuras seguras como el que dedican a enseñar a sus modelos a explotar vulnerabilidades», concluye Niels Provos, veterano ingeniero e investigador en seguridad.
Artículo originalmente publicado en WIRED. Adaptado por Alondra Flores.
