Los generadores de imágenes a partir de texto parecen haber llegado para quedarse. Si queremos “una pintura de un lindo gatito negro en una ciudad con estilo cyberpunk” y no queremos ponernos manos a la obra con lápices o pinceles, podemos resignar parte del proceso creativo tradicional y pedirle a DALL-E, Midjourney o Stable Diffusion que haga el trabajo por nosotros.
Esto es algo sorprendente si tenemos en cuenta que hace tan solo unos años era algo inimaginable. No obstante, los avances en el campo de la inteligencia artificial son cada vez mayores. Hace unos meses empezaron a aparecer los primeros generadores de vídeos a partir de texto, y ahora es el turno de darle la bienvenida a AudioGen, un generador de audio. Un “DALL-E”, del sonido.
La IA nos vuelve a sorprender
AudioGen es un programa de inteligencia artificial que genera sonidos a partir de descripciones textuales. Según explican los investigadores de Meta y de la Universidad Hebrea de Jerusalén, que son los responsables del proyecto, se utiliza un modelo generativo autorregresivo para interpretar los pedidos en lenguaje natural y generar desde cero muestras de audio.
We present “AudioGen: Textually Guided Audio Generation”!
— Felix Kreuk (@FelixKreuk) September 30, 2022
AudioGen is an autoregressive transformer LM that synthesizes general audio conditioned on text (Text-to-Audio).
📖 Paper: https://t.co/XKctRaShN1
🎵 Samples: https://t.co/e7vWmOUfva
💻 Code & models - soon!
(1/n) pic.twitter.com/UiJaA627bv
Veamos algunos ejemplos de AudioGen en acción. Como podemos ver escuchar en el Tweet compartido por el investigador Felix Kreuk, el programa de inteligencia artificial ha sido capaz de generar sonidos relacionados a “alguien silbando mientras el viento sopla”, “un hombre habla mientras los pájaros cantan y los perros ladran”, “sirenas y un motor zumbando se acercan y pasan”, entre otros pedidos realizados en lenguaje natural.
De acuerdo a los investigadores, este modelo de IA supera inconvenientes de audio complejos. Por ejemplo, puede distinguir entre diferentes tipos de sonidos y separarlos acústicamente. Por ejemplo, puede filtrar a dos personas que hablan al mismo tiempo. Y se trata de una característica elemental para poder generar una amplia variedad de muestras de audio precisas.
No sabemos específicamente el conjunto de datos se ha utilizado, pero los miembros el proyecto dicen que entrenaron el modelo “utilizando diez conjuntos de datos de audio y etiquetas coincidentes”. Recordemos que muchos modelos de IA son entrenados con conjuntos o subconjuntos de datos que contienen creaciones con derechos de autor, lo que está generando debates en relación al copyright.
Cabe señalar que los investigadores pretenden poner a disposición del público el proyecto, que de momento ha recibido buenas calificaciones por evaluadores internos. Próximamente publicará el código de AudioGen y demás detalles técnicos en su perfil de GitHub. Asimismo, seguirán trabajando para mejorar las capacidades de este programa, que acaba de dar su primer paso.
Imágenes | Pawel Czerwinski
via Robótica e IA - Xataka https://ift.tt/348mIFs
No hay comentarios:
Publicar un comentario