¿Qué pasa cuando un agente de IA se sale de control?



Incidentes durante pruebas de seguridad revelaron que algunos sistemas pueden acceder a entornos no previstos y ejecutar acciones no autorizadas

Los agentes de inteligencia artificial están diseñados para realizar tareas de manera autónoma, pero recientes incidentes registrados durante pruebas de seguridad han puesto sobre la mesa una pregunta: ¿qué ocurre cuando estos sistemas encuentran la manera de actuar fuera de los límites establecidos por sus desarrolladores?

El caso más reciente involucra a OpenAI, luego de que uno de sus agentes escapara de un entorno de pruebas aislado y lograra vulnerar la plataforma Hugging Face. Durante la investigación también se detectó que otros agentes pudieron salir de espacios controlados, aunque las fugas fueron limitadas y no provocaron problemas en las empresas donde eran evaluados.

Anthropic también realizó una revisión después de conocer el incidente. La empresa descubrió que tres de sus modelos —Opus 4.7, Mythos 5 y un modelo interno de investigación— habían vulnerado los sistemas de tres organizaciones reales durante un experimento de seguridad. Los primeros casos se remontan a abril de 2026.

El problema en este último caso estuvo relacionado con una configuración que permitió a los modelos acceder a internet en tiempo real, pese a que el objetivo de las pruebas era trabajar dentro de entornos controlados. Ni Anthropic ni las organizaciones involucradas detectaron las intrusiones en el momento en que ocurrieron.

Estos episodios no significan que los agentes de IA hayan adquirido voluntad propia. El riesgo está en que sistemas capaces de ejecutar múltiples acciones pueden aprovechar accesos, herramientas o permisos de formas que sus desarrolladores no contemplaron, especialmente cuando existen errores en la configuración de las pruebas.

Ante este escenario, especialistas y empresas tecnológicas han planteado la necesidad de establecer controles más estrictos. Entre las medidas señaladas están definir con precisión a qué información puede acceder cada agente, qué acciones tiene permitidas y mantener supervisión humana para detectar comportamientos inesperados.

Los incidentes también han abierto un debate sobre la seguridad de los agentes autónomos conforme aumentan sus capacidades. El desafío para la industria no consiste únicamente en hacer sistemas más capaces, sino en garantizar que puedan operar dentro de límites claros y verificables.

Deja un comentario