Los modelos de inteligencia artificial (IA) de Anthropic ya son utilizados no solo para orquestar ataques cibernéticos y estafas digitales, los sistemas de la familia Claude ahora sirven para planificar “guerras cognitivas” y realizar investigaciones que podrían conducir al desarrollo de armas biológicas.
La compañía publicó un informe sobre las actividades de su equipo de inteligencia de amenazas, unidad que identificó y desarticuló una serie de operaciones que utilizaron o intentaron emplear las versiones Haiku, Sonnet y Opus de Claude para realizar actividades maliciosas en siete áreas de riesgo, incluidas campañas de influencia y vigilancia, así como el uso indebido de sistemas biológicos.
El reporte contempla posibles casos de uso malicioso detectados durante los últimos ocho meses, entre los que también se encuentran intentos de ataques cibernéticos autónomos y a gran escala, consultas sobre el desarrollo de armas convencionales, estafas y fraude, así como casos de destilación ilícita de modelos de IA.
Importantes laboratorios de inteligencia artificial, ejecutivos y científicos envían una carta a los legisladores instándoles a mejorar el seguimiento de las secuencias de ADN sintético que podrían utilizarse para armas biológicas.
El documento, compartido a través del blog de Anthropic, aumenta las preocupaciones sobre las capacidades de los sistemas de IA para ocasionar la desaparición de la humanidad. “A medida que los modelos se vuelven más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y quienes defienden a la sociedad tomen medidas para hacerlos más seguros”, subrayó la compañía.
Durante el periodo de evaluación, Anthropic identificó cinco casos de actores que utilizaron sus modelos de maneras que podrían impulsar el desarrollo de armas biológicas. Según la empresa, esta podría ser la primera vez que una compañía privada de IA o de otro tipo comparte públicamente el posible uso indebido de sus productos para este fin.
¿IA para crear armas biológicas o al servicio de la ciencia?
Cabe mencionar que la empresa no afirma de manera concluyente que sus productos fueron empleados para crear armas biológicas ya disponibles. Subraya que su evaluación se enfocó en analizar el posible doble uso de las capacidades biológicas de sus sistemas, ya que, según explica, “la misma información que puede utilizarse para desarrollar un arma biológica también podría emplearse para desarrollar, por ejemplo, una vacuna o una cura para una enfermedad”.
En el primer caso detectado, la empresa identificó una plataforma dedicada a revender el acceso a modelos de IA que consiguió evadir las restricciones regionales que impedían que determinados usuarios utilizaran algoritmos. Esto permitió que virólogos que participan en una investigación financiada mediante una subvención estatal sobre la llamada ganancia de función del chikungunya pudieran tener acceso a modelos de Anthropic que aparentemente estaban restringidos. Los estudios del grupo de científicos al que se intentó facilitar el acceso analizaban las formas en que pueden cambiar las características del virus para, por ejemplo, comprender sus variaciones y desarrollar formas de mitigarlas o, en el peor de los casos, aumentar su viralidad o potencial de mortalidad.
Algunas de las solicitudes de consulta realizadas por los investigadores fueron rechazadas por los modelos de Claude, por lo que los usuarios fueron remitidos a modelos con medidas de seguridad más laxas.
En el segundo ejemplo, Anthropic reveló el caso de un investigador que durante varias semanas utilizó Claude desde una ubicación no autorizada para planificar estudios relacionados con la adaptación de la gripe aviar a mamíferos. El sistema de seguridad de la empresa interpretó estas consultas como actividad de riesgo y remitió al usuario a modelos de IA menos avanzados.
