Nvidia ha presentado Fugatto (Foundational Generative Audio Transformer Opus 1), un motor revolucionario impulsado por inteligencia artificial (IA) que promete transformar la forma en que se crea y manipula el audio. Este modelo generativo es capaz de producir composiciones únicas, combinando música, voces y sonidos a partir de simples indicaciones de texto.

Según Rafael Valle, gerente de investigación de audio aplicado en Nvidia, Fugatto fue diseñado con el objetivo de emular la capacidad humana para comprender y generar piezas de audio. “La intención era crear un modelo de IA que pudiera entender y crear piezas de audio tal como lo hacen los humanos”, afirmó.

Fugatto destaca como el primer modelo de IA generativa fundamental con capacidades emergentes, un avance que permite integrar múltiples tareas en una sola instrucción. Gracias a la interacción de diversas habilidades entrenadas individualmente, el modelo utiliza tecnologías avanzadas como modelado de voz, vocodificación y comprensión de audio.

¿Cómo funciona la nueva IA de Nvidia?

El motor opera con 2,500 millones de parámetros y fue entrenado en un sistema Nvidia DGX con 32 GPU H100 Tensor Core, utilizando una técnica innovadora llamada ComposableART. Este enfoque permite al algoritmo combinar instrucciones y pequeños conjuntos de datos, logrando procesar solicitudes complejas como hacer que una trompeta “ladre” o que un saxofón “maúlle”. Además, puede generar voces de alta calidad y paisajes sonoros dinámicos.

Fugatto ofrece aplicaciones potenciales en industrias como la música, la publicidad y los videojuegos. Nvidia asegura que los productores podrían usar la herramienta para prototipar canciones, las agencias de publicidad para personalizar campañas con diferentes acentos y emociones, y los desarrolladores de videojuegos para adaptar recursos sonoros en tiempo real, todo mediante texto y entradas de audio opcionales.

Por ahora, Nvidia no ha confirmado si Fugatto estará disponible para el público general, pero su presentación marca un importante paso hacia el futuro de la creación y manipulación de audio basada en inteligencia artificial.