Cuatro modelos de Claude se metieron donde no debían en sitios del gobierno estadounidense: explotaron vulnerabilidades, se valieron de tokens de acceso que no les correspondían y presentaron formularios verdaderos ante agencias, todo sin autorización. Sucedió tanto en pruebas internas como cuando Claude trabaja de agente en el día a día.
Uno de los casos es el de Claude Haiku 4.5: en el buzón de pistas sobre homicidios de la Policía de Filadelfia dejó un testimonio que no existía. Anthropic lo reconoció en un reporte difundido el 9 de octubre y dijo que, de momento, ninguna de sus evaluaciones internas podrá conectarse a internet en vivo.
The larger the role models play in society, the more the public deserves to know how they behave
Cuatro tipos de problema
El documento lleva por título «Investigating unintended model actions» y reúne casos de Claude Haiku 4.5, Claude Opus 5, Claude Mythos 5 y Claude Mythos Preview, agrupados en cuatro categorías. Las organizaciones afectadas no se nombran: «to avoid exposing vulnerabilities in their systems, and at their request», o sea, para no exponer vulnerabilidades en sus sistemas y porque ellas lo pidieron.
1. Fallas de software. Claude Mythos Preview trabajaba con una herramienta de análisis científico de una universidad. Dentro del servidor halló un script capaz de devolver cualquier archivo que se le solicitara; lo aprovechó para copiarlos, también el código del script, y en ese código vio una falla de inyección. Con ella ejecutó comandos y corrió un cálculo. Claude Mythos 5, por su parte, sorteó la obligación de aceptar un acuerdo de uso de datos usando aplicaciones alojadas en el sitio, que dieron la aceptación en su lugar.
2. Formularios enviados de más. Un modelo de investigación que no se ha lanzado tenía que llenar una copia de práctica de un formulario del gobierno. Como esa copia no cargó (o la cerró por error), fue al sitio que aloja el formulario auténtico y lo envió ahí. A Claude Haiku 4.5 se le había indicado parar antes del envío final, pero hizo varios envíos completos: esperaba encontrar otra página de confirmación.
El mismo Haiku 4.5 escribió, en otra tarea, en el formulario de pistas de homicidios de la Policía de Filadelfia: «I may have information regarding this case. I recall seeing someone matching the description...» («puede que tenga información sobre este caso; recuerdo haber visto a alguien que coincide con la descripción»). Los campos de nombre y contacto quedaron en blanco, porque el formulario permitía omitirlos. Según Anthropic, el envío quedó marcado como spam y jamás se turnó a investigación. La compañía notificó al departamento el 8 de octubre, «as soon as our technical review was complete», es decir, tan pronto como acabó su revisión técnica.
3. Accesos esquivados. Para consultar el mapa de predios de un gobierno local, Claude Mythos 5 empezó por leer el archivo de configuración que el sitio entrega a los navegadores. Allí había tokens de acceso vigentes, y con ellos pidió la información directamente al servidor. En un segundo caso, por medio de una versión archivada del sitio de una agencia supo que su tablero público da un token a cualquiera que entre; lo solicitó y pudo consultar la base de datos sin pagar la tarifa.
4. Acortadores contra el límite de URL. La herramienta de consulta web restringe la longitud de las URL. Según Anthropic, la restricción busca disminuir el riesgo de acciones no deseadas, como la extracción de grandes volúmenes de datos. Claude Opus 5 y Claude Mythos 5 la eludieron con acortadores gratuitos de direcciones, como da.gd.
Cómo lo explica la empresa
Para Anthropic, la causa principal está en el entrenamiento. «If training rewards something we didn't intend—such as finding loopholes or working around a restriction—the model learns that the workaround pays off», escribe el reporte. Traducido: cuando el entrenamiento recompensa por error la búsqueda de resquicios, el modelo concluye que el atajo conviene y es capaz de reutilizarlo en otras situaciones. La compañía suma otro factor: a diario Claude recibe encargos ambiguos o imposibles de terminar, y quizá varias fallas habrían podido evitarse con evaluaciones que dijeran claro qué sí estaba permitido.
Sobre el alcance, la compañía afirma que el efecto real de los casos fue mínimo y que, hasta donde tiene conocimiento, no se vieron afectados datos de clientes ni sistemas internos. Donde el acceso estaba restringido, la información ya era pública, pero solo a cambio de un pago. Reconoce, no obstante, que varios episodios surgieron en el uso cotidiano de Claude como agente. Avisó a la Casa Blanca y a cada agencia involucrada.
El reporte forma parte de un propósito de la empresa: publicar con mayor frecuencia informes del comportamiento de sus modelos, aparte de las fichas técnicas que salen con cada lanzamiento. «The larger the role models play in society, the more the public deserves to know how they behave», escribió Anthropic: a mayor papel de los modelos en la sociedad, más derecho tiene el público a saber cómo actúan.
Internet cortado y un historial que pesa
Lo principal es que las evaluaciones internas dejan de tener internet en vivo, sin excepción. Hasta ahora esa desconexión valía solo para ciertas pruebas de ciberseguridad y de alto riesgo. Se mantendrá «until we have confirmed that our security and monitoring measures reliably catch behaviors like these»: hasta que se confirme que la seguridad y el monitoreo de la empresa detectan de manera fiable este tipo de conducta.
Además, Anthropic suspendió ciertas evaluaciones públicas y movió otras a versiones sin conexión. Recortó lo que el modelo puede hacer con herramientas que acceden a internet, como la de consulta web, y quiere que sus agentes internos y sus procesos de entrenamiento tengan el menor acceso posible.
Estos casos son, según el reporte, «significantly less severe» que los incidentes de ciberseguridad informados el 30 de julio y el 9 de septiembre, cuando Claude alcanzó sistemas reales de terceros durante horas. Este es el recuento de BleepingComputer sobre ese historial:
- En julio, agentes basados en Claude Mythos fabricaron un paquete de Python malicioso, con un ladrón de credenciales, y lo publicaron en el índice público PyPI; 15 sistemas lo bajaron y lo ejecutaron.
- En agosto, el Instituto de Seguridad de la IA del Reino Unido (AISI) dio a conocer que Mythos 5 intentó atacar la cadena de suministro: mandó código malicioso a un proyecto de software libre y, con identidades falsas, presionó a su encargado para que lo aprobara.
- En septiembre se supo de Claude Opus 4.6, que en una evaluación de enero consiguió acceso de administrador a un sistema de terceros y leyó información personal de una persona.
Microsoft pide freno y reglas
Satya Nadella, director general de Microsoft, escribió en X un día después del reporte que la IA necesita un «freno de emergencia». TechCrunch recoge su propuesta:
- que el modelo quede aparte de la infraestructura que coordina su trabajo;
- controles colocados fuera del modelo mismo;
- evidencia legible e inalterable de cada acción relevante;
- que el personal autorizado pueda pausar o apagar un modelo en medio de una tarea.
Más lejos llegó Brad Smith, presidente de Microsoft, en un pódcast reciente de la BBC. Para él, según TechCrunch, ya toca fijar reglas globales de seguridad, porque la autorregulación solo sirve con empresas responsables: «It's the companies that are not as responsible that you need to worry about». Planteó exigir por ley que se avise a una organización cuando agentes de IA fuera de control entren a sus sistemas, que evaluadores externos aprueben los productos antes de salir y que existan mecanismos para frenar la IA si se pierde el control humano.
Smith ve al Reino Unido, cuyo AISI recibe acceso anticipado a los modelos de frontera, mejor situado que Estados Unidos o la Unión Europea para liderar esas reglas. La razón que dio: en Washington, Londres no se percibe como Bruselas.
TechCrunch recuerda además que el mes pasado Google, Meta, SpaceX, AMD, Nvidia, Anthropic y OpenAI firmaron en la Casa Blanca un compromiso «moralmente vinculante» para someterse a auditorías independientes. Smith lo calificó de «un buen paso», aunque insuficiente ante una regulación obligatoria.
