Hugging Face AI, explicó en su portal que el código abierto es “un modelo de lenguaje único (LM) que opera sobre varios flujos de representación de música discreta comprimida, es decir, tokens”.

MusicGen, como dijimos anteriormente, puede producir música simplemente con poca información de texto (indicaciones de la música que quieres hacer) y algunas características melódicas. Es decir, según los investigadores, por un lado, el texto establece el estilo básico, y  por otro lado, hace que coincida con la melodía de referencia en el archivo de audio.

“Llevamos a cabo una extensa evaluación empírica, considerando tanto estudios automáticos como humanos, que muestran que el enfoque propuesto es superior a las líneas de base evaluadas en un punto de referencia estándar de texto a música. A través de estudios de ablación, arrojamos luz sobre la importancia de cada uno de los componentes que componen MusicGen”, explica Hugging Face AI.

Te puede interesar: Diapositivas con inteligencia artificial en segundos. Así funciona Tome AI

Audiocraft, una biblioteca para el procesamiento y generación de audio con aprendizaje profundo, asegura que MusicGen es un modelo de transformador autorregresivo, (que predice valores futuros basados ​​en valores pasados), de una sola etapa entrenado en un tokenizador EnCodec de 32 kHz con 4 libros de códigos muestreados a 50 Hz.

Además explica que a diferencia de otros métodos existentes como MusicLM , “MusicGen no requiere una representación semántica auto supervisada y genera los 4 libros de códigos en una sola pasada”.

Es decir, si agregas a la herramienta el texto con las indicaciones para la nueva pieza musical, también podrás agregar una melodía (de referencia), que en este caso sería una pista de audio libre de derechos de autor, para que inteligencia artificial la modifique o la ‘descomponga’ a partir de las instrucciones que le diste en texto.

Te puede interesar: Caktus AI: la plataforma que ayuda hasta con las excusas por faltar a clases

No obstante, si solo, para crear tu canción haz ingresado el texto, lo que hace la IA es generarla de manera automática y aleatoria con la información con la que fue entrenada. En este caso, ENTER.CO probó la herramienta indicandiole que quería una pieza “romántica con bongó, campana, clave, cencerro, congas, güiro, maracas, timbal”, y este fue el resultado.

Cabe mencionar que la música creada, son piezas que no pasan de 12 segundos, es decir no vas a poder producir una completa. El código abierto y los modelos están disponibles en Github y se permite el uso comercial.

Imagen: Archivo ENTER.CO