Reuters.- Nvidia puso a disposición el lunes un conjunto de herramientas de seguridad de software para agentes de IA que, según afirma, habrían impedido el ataque informático a Hugging Face, el centro de programación de IA por el que Nvidia pagó 13,000 millones de dólares meses después de que fuera invadido por agentes rebeldes de OpenAI.
Esta medida se produce mientras OpenAI y Anthropic, los dos principales laboratorios de IA de EU, investigan numerosos casos en los que sus agentes —sistemas de IA capaces de realizar tareas complejas— se infiltraron en sistemas comerciales y gubernamentales. El director ejecutivo de Nvidia, Jensen Huang, al frente de la mayor empresa del mundo cuyos chips han impulsado la mayor parte del auge de la IA, ha rechazado las peticiones de una normativa general sobre seguridad de la IA y, en su lugar, ha calificado a los agentes fugados como un problema de ingeniería que hay que resolver, similar a hacer que los automóviles sean más seguros.
Una herramienta lanzada el lunes, denominada OpenShell, utiliza las características de hardware de los chips de procesador central de Nvidia para contener a los agentes. Nvidia ha afirmado que también está colaborando con Arm Holdings e Intel para garantizar que el sistema funcione igualmente en sus procesadores centrales.
Nvidia está lanzando estas herramientas junto con docenas de socios, entre los que se encuentra Anthropic. Justin Boitano, vicepresidente y director general de informática empresarial de Nvidia, afirmó que estas herramientas habrían impedido el ataque a Hugging Face revelado este verano.
“Por lo que sabemos, esta nueva plataforma de seguridad podría haber evitado la brecha de seguridad si se hubiera utilizado desde el principio en los laboratorios de vanguardia para la evaluación de modelos“, declaró Boitano durante una rueda de prensa. “Estamos impulsando esto de forma abierta y queremos que todo el mundo se sume a este proyecto”.
Otro sistema llamado Sentry utiliza un chip independiente de Nvidia junto con OpenShell para aislar a un agente malintencionado si este intenta escapar de su contenedor en un procesador central.
Las herramientas de Nvidia utilizan fórmulas matemáticas para detectar cuándo los agentes intentan recurrir a soluciones alternativas, como por ejemplo cuando un agente podría “generar” varios «subagentes» en un intento de eludir los esfuerzos por bloquear al agente principal, explicó Ali Golshan, director sénior de software de IA en Nvidia.
“En realidad, estamos hablando de un comportamiento «agente», es decir, de flotas de agentes y de cómo operan conjuntamente”, señaló Golshan durante una sesión informativa.
