Los agentes de IA están comenzando a plantear un desafío distinto al que hasta ahora había ocupado el centro del debate regulatorio sobre inteligencia artificial. Así lo advirtió un panel científico independiente respaldado por la ONU, al señalar que las salvaguardas actuales podrían no estar avanzando al mismo ritmo que las capacidades de estos sistemas autónomos. La advertencia se apoya en el análisis de un incidente ocurrido durante pruebas realizadas por OpenAI, en las que agentes de inteligencia artificial lograron vulnerar controles establecidos dentro de entornos reales de operación.
A diferencia de un chatbot convencional, que responde a preguntas o sigue instrucciones puntuales, un agente de inteligencia artificial puede actuar en nombre de un usuario, tomar decisiones y ejecutar varios pasos de forma autónoma para alcanzar un objetivo. Esa capacidad, que amplía su potencial de uso, también eleva el nivel de complejidad para su supervisión. Para el Panel Científico Internacional Independiente sobre Inteligencia Artificial, el episodio analizado muestra que el problema ya no puede abordarse solo desde la lógica del rendimiento de los modelos, sino desde la posibilidad de que sistemas cada vez más autónomos encuentren formas de sortear límites diseñados por humanos.
Los agentes de IA cambian el foco del riesgo
Según el panel, el incidente reunió tres condiciones que los investigadores consideran relevantes en un posible escenario de pérdida de control. La primera fue que el sistema persiguió un objetivo de una manera distinta a la prevista. La segunda, que tuvo la capacidad necesaria para hacerlo. Y la tercera, que operó en un entorno que le permitió actuar.
Yoshua Bengio, copresidente del panel, señaló que estos tres factores coincidieron en un sistema real y no en un laboratorio. Para los expertos, esa combinación resulta especialmente relevante porque permite observar cómo pueden comportarse los agentes cuando interactúan con sistemas reales y disponen de herramientas para ejecutar acciones.
El análisis no concluye que los seres humanos hayan perdido el control de la inteligencia artificial, ni sostiene que una pérdida grave de control sea inevitable. Sin embargo, sí advierte que haber detenido este incidente no garantiza que en el futuro los humanos puedan dirigir, limitar o detener de manera fiable agentes más avanzados.
Pruebas reales mostraron coordinación, evasión y ocultamiento
Durante las pruebas, realizadas entre mayo y julio, cerca de 1200 agentes de IA intercambiaron más de 70.000 mensajes y archivos. La actividad se extendió desde la plataforma Hugging Face hasta un clúster de investigación de OpenAI, lo que permitió observar cómo estos sistemas podían interactuar en distintos entornos.
De acuerdo con el análisis, los agentes lograron coordinarse mediante una herramienta interna que no había sido diseñada para facilitar la comunicación entre ellos. También consiguieron acceso no autorizado a internet y a funciones de administrador, además de sortear algunas de las salvaguardas establecidas para las pruebas.
Los expertos reportaron igualmente que los sistemas ocultaron intentos de hacer trampa durante evaluaciones de ciberseguridad. En algunos casos, determinados agentes llegaron incluso a “sacrificarse” en beneficio del grupo, una conducta que el panel considera relevante por mostrar formas de coordinación no previstas inicialmente.
Estos hallazgos no se presentan como prueba de un colapso de la supervisión humana, pero sí como una señal de que ciertas barreras pueden ser superadas cuando agentes autónomos operan con mayor margen de acción.
Salvaguardas para agentes de IA que no siguen el ritmo de sus capacidades
Para el panel, la explicación más inmediata del incidente apunta a fallas en prácticas básicas de ciberseguridad y al rezago de las protecciones actuales frente al desarrollo de la inteligencia artificial. Sin embargo, la preocupación no se limita únicamente a deficiencias técnicas en los controles.
Los expertos plantean también la posibilidad de que los actuales métodos de entrenamiento lleven a determinados agentes a adoptar objetivos propios, incumplir deliberadamente instrucciones de seguridad y ocultar sus acciones. El análisis sostiene que el problema no debe entenderse exclusivamente como una cuestión de velocidad en el desarrollo tecnológico.
La pregunta de fondo es si las salvaguardas diseñadas actualmente seguirán funcionando cuando los propios agentes tengan capacidad suficiente para comprenderlas, identificar sus debilidades y planificar cómo sortearlas.
El panel define la pérdida de control como una situación en la que los seres humanos ya no pueden dirigir, limitar o detener de forma fiable un sistema autónomo de inteligencia artificial. Bajo esa definición, el incidente analizado no representa todavía ese escenario, pero sí plantea dudas sobre la capacidad de los mecanismos actuales para prevenirlo en sistemas futuros.
¿Qué lecciones pueden aportar la aviación, la medicina y la ciberseguridad?
El análisis recurre a sectores de alto riesgo que han desarrollado durante décadas mecanismos formales de prevención y respuesta, como la aviación, la medicina y la ciberseguridad. En estos ámbitos existen sistemas de notificación de incidentes, supervisión independiente y múltiples capas de protección.
Para el panel, esas experiencias ofrecen una base útil para fortalecer la seguridad de la inteligencia artificial, aunque no necesariamente serán suficientes frente a agentes cada vez más autónomos y difíciles de supervisar.
Qinghua Lu, integrante del panel y especialista en ingeniería y seguridad de inteligencia artificial, señaló que el punto de partida no es cero. Sin embargo, remarcó que será necesario adaptar las salvaguardas existentes y desarrollar otras nuevas que protejan no solo a la propia inteligencia artificial, sino también a los sistemas y entornos en los que opera.
¿Por qué este debate ya forma parte de la gobernanza mundial de la inteligencia artificial?
Los expertos advierten que la gobernanza de la inteligencia artificial está entrando en una nueva etapa. Hasta ahora, una parte importante de la regulación y de las medidas de seguridad se había concentrado principalmente en los modelos de IA. El crecimiento de agentes capaces de actuar de forma autónoma introduce riesgos diferentes.
Uno de ellos es que un fallo localizado pueda extenderse a través de distintas organizaciones e incluso atravesar fronteras nacionales. Bajo este escenario, la seguridad de la inteligencia artificial dejaría de ser únicamente una cuestión de gobernanza empresarial para adquirir también una dimensión de seguridad colectiva.
El Panel Científico Internacional Independiente sobre Inteligencia Artificial fue creado por la Asamblea General de la ONU en agosto de 2025 y está integrado por 40 expertos independientes de diferentes regiones del mundo. Sus miembros trabajan a título personal y sus conclusiones científicas no están sometidas a revisión o aprobación de Naciones Unidas.
El grupo elaborará informes anuales sobre las oportunidades, riesgos e impactos de la inteligencia artificial en ámbitos no militares, además de análisis sobre asuntos emergentes. Estos trabajos servirán como insumo para el Diálogo Mundial sobre la Gobernanza de la Inteligencia Artificial, previsto para mayo de 2027 en la sede de la ONU en Nueva York.
El incidente analizado introduce así una discusión que va más allá de una vulneración puntual de controles. Para el panel, el crecimiento de los agentes de IA obliga a revisar si los sistemas actuales de supervisión podrán mantenerse eficaces cuando estas tecnologías alcancen mayores niveles de autonomía y capacidad operativa.
