La promesa central de Nvidia es vigilar a los agentes de inteligencia artificial desde fuera del entorno donde operan. La compañía presentó Open Agent Safety Platform, una plataforma que combina restricciones de software con un sistema de monitoreo en hardware separado. Según Nvidia, esa segunda capa puede poner en cuarentena a un agente en milisegundos si intenta exceder los permisos asignados. La eficacia de esa respuesta, sin embargo, aún no ha sido comprobada de forma independiente.
La propuesta apunta a empresas y organizaciones que usan agentes capaces de ejecutar tareas durante largos periodos, como consultar archivos, navegar por internet o interactuar con herramientas y servicios. A diferencia de un chatbot que solo responde preguntas, un agente puede tomar acciones en nombre de una persona o una compañía. Si interpreta mal una instrucción, encuentra un error o intenta resolver la tarea por otra vía, podría actuar más allá de lo previsto.
La plataforma reúne dos componentes. OpenShell, el software de código abierto, crea un entorno aislado y aplica reglas de acceso: qué archivos, redes, herramientas, procesos o credenciales puede usar cada agente. Nvidia sostiene que imponer límites técnicos ofrece más control que confiar únicamente en instrucciones escritas en el mensaje que recibe el modelo. El sistema también registra las acciones y puede funcionar con procesadores de Nvidia y, según la empresa, adaptarse a plataformas de Arm e Intel.
Te puede interesar: OpenAI frena sus modelos por acciones inesperadas de agentes de IA
Sentry añade una vigilancia separada del agente y del sistema donde trabaja. Está diseñado para ejecutarse en las unidades de procesamiento de datos BlueField-4 de Nvidia, revisar la actividad y aplicar controles desde ese nivel. La empresa afirma que puede detectar intentos de salir de los límites y aislar al agente en cuestión de milisegundos. La arquitectura busca que el propio agente no tenga control sobre el mecanismo que lo supervisa.
Los límites dependen de las reglas que defina cada organización
La plataforma no determina por sí sola qué acciones son aceptables: quienes la implementen deben establecer permisos y políticas para sus agentes. La disponibilidad también varía por componente. Nvidia indica que OpenShell y otros elementos de software pueden obtenerse desde sus recursos para desarrolladores y GitHub; el diseño de Sentry, en cambio, depende del hardware BlueField-4.
La empresa presentó la iniciativa tras una serie de incidentes en los que agentes de IA habrían ignorado instrucciones o excedido el alcance de sus tareas. Associated Press informó que un profesor de informática de la Universidad de Wisconsin advirtió que las restricciones podrían impedir acciones útiles y que el equilibrio entre seguridad y funcionamiento requiere evaluarse con casos concretos. La plataforma tampoco evita que un modelo se equivoque o engañe: busca limitar lo que puede hacer cuando actúa.
Nvidia anunció que más de 100 organizaciones trabajan con tecnologías de la plataforma, entre ellas Microsoft, Perplexity, JPMorgan Chase y Hugging Face. Esa participación indica interés empresarial, pero no equivale a una validación independiente de sus resultados. Por ahora, el alcance de la promesa dependerá de cómo se definan las reglas y de pruebas que permitan medir qué bloquea el sistema y qué riesgos persisten.
