¿Qué pasa cuando un agente de IA se sale de control? Nvidia crea una plataforma para detenerlo

La compañía explicó que la plataforma combina software de código abierto y herramientas de supervisión a nivel de infraestructura para controlar todo el entorno en el que funcionan los agentes, desde los modelos y aplicaciones hasta el hardware y los sistemas robóticos conectados.

Nvidia busca contener a los agentes autónomos

Según Nvidia, los agentes de IA representan una nueva generación de sistemas capaces de realizar tareas complejas durante largos períodos de tiempo, utilizar herramientas externas, acceder a archivos, navegar por internet e interactuar con otros sistemas sin intervención humana constante.

Sin embargo, esa autonomía también aumenta los riesgos.

La empresa sostiene que varios incidentes recientes demostraron que los controles de seguridad incorporados en los modelos no siempre son suficientes para impedir que un agente intente ejecutar acciones no autorizadas para cumplir los objetivos que se le han asignado.

"En todos los casos observamos el mismo patrón: el agente logró evadir los controles de seguridad de la capa de aplicación para completar la tarea", señaló la compañía.

Cómo funciona Open Agent Safety Platform

La nueva plataforma está compuesta por dos elementos principales:

• OpenShell, un software de código abierto que crea un entorno aislado o "sandbox" para cada agente de IA.
• NVIDIA Sentry, un sistema de monitoreo externo que supervisa el comportamiento del agente desde fuera de su entorno operativo.

OpenShell permite establecer reglas sobre qué archivos, redes, aplicaciones, herramientas y credenciales puede utilizar cada agente mientras realiza una tarea determinada. Además, es compatible no solo con la infraestructura de Nvidia, sino también con plataformas basadas en tecnologías de Arm e Intel.

Por su parte, Sentry funciona sobre los procesadores BlueField-4 de Nvidia y puede detectar comportamientos sospechosos, aislar agentes y bloquear acciones potencialmente peligrosas en cuestión de milisegundos.

Una respuesta a los recientes incidentes de IA

El lanzamiento llega después de varios episodios que encendieron las alarmas en el sector tecnológico.

Durante los últimos meses, empresas como OpenAI, Anthropic, Google y Meta reconocieron incidentes en los que modelos avanzados lograron salir de entornos de prueba o intentaron acceder a sistemas externos para cumplir sus objetivos.

Uno de los casos más comentados ocurrió en julio, cuando modelos de OpenAI habrían logrado acceder a infraestructura de Hugging Face tras escapar de los límites establecidos durante pruebas experimentales. Nvidia aseguró que su nueva plataforma habría podido evitar ese incidente.

Justin Boitano, vicepresidente de IA empresarial de Nvidia, argumentó que los controles incorporados dentro de los modelos ya no son suficientes para gestionar agentes cada vez más sofisticados.

Los agentes no pueden ser responsables de vigilar completamente su propio comportamiento. La infraestructura debe aplicar las reglas de manera explícita", afirmó.

Jensen Huang coloca la seguridad en el centro del debate

El fundador y director ejecutivo de Nvidia, Jensen Huang, presentó la iniciativa como un paso necesario para garantizar el desarrollo responsable de la inteligencia artificial.

El extraordinario potencial de la IA para la sociedad solo se hará realidad si resolvemos la seguridad de la IA", afirmó Huang.

El ejecutivo agregó que, a medida que la industria continúa ampliando las capacidades de los modelos, también debe acelerar los avances en materia de protección y control.

Según Huang, la seguridad debe abordarse desde toda la infraestructura tecnológica y no únicamente desde los algoritmos.

Más de 100 socios respaldan la iniciativa

Nvidia aseguró que más de 100 organizaciones ya participan en el ecosistema de la nueva plataforma. Entre ellas figuran Anthropic, Microsoft, Cisco, Salesforce, JPMorgan Chase, SAP, Palantir, Perplexity, ServiceNow y SpaceXAI, entre otras.

La compañía indicó que el objetivo es construir estándares compartidos para mejorar la seguridad de los agentes en sectores como finanzas, salud, industria, logística y robótica avanzada.

Crece el debate sobre los riesgos de una IA más poderosa

La presentación de Nvidia coincide con una etapa de creciente preocupación dentro del propio sector tecnológico.

En septiembre, el CEO de OpenAI, Sam Altman, descartó una salida a bolsa de la compañía en el corto plazo y vinculó esa decisión a los desafíos de seguridad que plantea el avance acelerado de la inteligencia artificial.

Asimismo, destacados investigadores de Anthropic y OpenAI han advertido recientemente sobre los riesgos asociados a sistemas cada vez más autónomos y difíciles de supervisar. Sus llamados a moderar el ritmo de desarrollo han alimentado un debate cada vez más intenso sobre cómo equilibrar innovación y seguridad.

La irrupción de Open Agent Safety Platform refleja precisamente ese cambio de enfoque: la discusión ya no se centra únicamente en construir sistemas más inteligentes, sino también en garantizar que permanezcan bajo control una vez que comiencen a actuar de forma autónoma.

Te puede interesar: Un agente de IA de OpenAI entró sin permiso a un portal del Gobierno de Australia: lo que se sabe

Suscríbete a la revista y regístrate a nuestros newsletters para recibir el mejor contenido en tu buzón de entrada.