Uno de los ejemplos más impactantes de lo que puede hacer HeyGen AI, es el resultado de la adaptación de la voz del actor chileno – estadounidense Pedro Pascal; Oberyb Martell en Game of Thrones y The Mandalorian. La voz de Pascal es captada de un diálogo suyo en español y convertida al inglés y al hindú.

Hey Elon, I didn’t know you could speak so many languages 🤔 https://t.co/YmnhvTGpdM pic.twitter.com/EGI7Ri77qO

— Joshua Xu (@joshua_xu_) September 8, 2023

El tono, el color, la entonación y el ritmo son tan fieles al audio original que podría pasar como grabaciones originales del Pascal. ¿Qué pasará cuando en una película se requiera de un solo idioma (actor) doblaje y con IA se construyan los doblajes en otros idiomas?

Te puede interesar:  Diapositivas con inteligencia artificial en segundos. Así funciona Tome AI

HeyGen AI no es gratuita por ahora y tiene sus detalles a mejorar, ya que puede tener una entonación robótica, como es el caso del español, aunque también se extiende a otros idiomas. Sin embargo, para ser una tecnología en desarrollo produce resultados que impresionan.

El doblaje de grandes producciones, como series y películas, todavía es hecho es su gran mayoría por actores humanos que ya son la identidad sonora de personalidades del cine desde hace años; hablamos de grandes voces como Mario Castañeda o Juan Carlos Tinoco.

Pero los videos cortos para las redes sociales están diseñados para producirse y consumirse rápidamente; y hasta el momento, no había una forma viable de adaptarlos todos a los diferentes idiomas.

Te puede interesar: Caktus AI: la plataforma que ayuda hasta con las excusas por faltar a clases

En publicaciones de X (Twitter), HeyGen AI presenta esta nueva generación de doblaje impulsada por inteligencia artificial; con la que hemos escuchado a Elon Musk hablando en español y francés; igual que al youtuber Marques Brownlee.

So here at @HeyGen_Official, we’ve been working on a new AI feature to help creators and businesses translate their videos as simply as possible.

Step 1. Upload video
Step 2. Choose your language
Step 3. Submit

Here’s a sample of @MKBHD, @elonmusk, @casey and Emma Chamberlain pic.twitter.com/Enoz8YDzWC

— Joshua Xu (@joshua_xu_) August 3, 2023

Cabe notar que HeyGen adapta el movimiento de los labios a las palabras a través del deepface, luego utiliza la voz y entonación de la persona para generarla en otro idioma.

Ahora, los creadores podrían subir fácilmente vídeos a sus plataformas preferidas con opción a todos los idiomas, o al menos, para los más relevantes según la demográfica que consuma su contenido.

Imagen: Vadym Terelyuk