Matthew Amroliwala es presentador de noticias en la BBC. Solo habla inglés pero, días atrás, la cadena de noticias inglesa mostró cómo el periodista podía hablar en español, chino mandarín e hindi. Se trató de un experimento de inteligencia artificial (IA) a través de una tecnología denominada native dubbing (doblaje nativo).
La prueba fue realizada en el marco del proyecto «Beyond Fake News» (Más allá de las noticias falsas). Es una serie de documentales e informes para luchar contra la desinformación y las noticias falsas.
Ahmed Razek, tecnólogo y productor de BBC explicó, que el presentador Amroliwala grabó un guion de 20 segundos. Luego, pidieron a 3 presentadores diferentes de los servicios en español, mandarín e hindú, grabar lo mismo en sus idiomas nativos.
La prueba fue realizada con tecnología de Synthesia. Es una startup de Londres, basada en investigaciones académicas de 5 años de la Universidad de Londres (UCL) y Universidad de Stanford, e integrada por profesores e investigadores.
«El proceso de native dubbing es bastante simple. Capturamos una pequeña cantidad de datos de entrenamiento que nos permiten producir un modelo de cara de un actor en particular», señala a Infobae Victor Riparbelli, CEO y cofundador de Synthesia.
Continúa: «Luego grabamos un actor de doblaje y sincronizamos sus movimientos de labios con el actor original. Antes de iniciar cualquier proceso, garantizamos el consentimiento del actor involucrado».
Entonces, el software necesita datos de entrenamiento para que los algoritmos de aprendizaje profundo y visión computacional (deep learning y computational vision) trabajen en una red generativa o redes GAN (redes generativas antagónicas, por sus siglas en inglés). El fin es lograr nuevas imágenes de esa persona.
Así, redes neuronales toman imágenes de una persona y aprenden cómo recrearlas a partir de imágenes originales
En el caso de la BBC, esta red fue entrenada para desarrollar imágenes fotorrealistas de la cara del presentador. Puppeteering (proviene de la palabra en español titiritero) es el proceso de transferencia de estos datos que permite crear la nueva cara digital.
El método native dubbing podría crecer en el cine, películas y programas de TV podrían ser vistos en varios idiomas.
Respecto del futuro de esta tecnología, Riparbelli expresa: «En 5 años, será tan normal ver películas dobladas como leer libros traducidos hoy. El doblaje nativo también permitirá a los países más pequeños competir mejor con Hollywood porque no están limitados por la audiencia en sus países de origen».
Asimismo, no descarta la posibilidad de incorporar la tecnología a las transmisiones en vivo. «No ahora, pero en algún momento podría ser posible», expresa.
Native dubbing está pensado para vencer barreras idiomáticas.
Por su parte, el ingeniero Fredi David Vivas, especialista en big data, IA y data science, señala: «Según Synthesia, su propósito es crear un mundo ´sin barreras idiomáticas´, en el que cualquier persona pueda disfrutar de cualquier contenido de video con independencia de su idioma».
Continúa: «Si esto puede desarrollarse, no solo las barreras idiomáticas serían derribadas, especialmente considerando que hay que dominar el inglés para poder entender el 52,3% del contenido de internet. Sin embargo, solo un cuarto de los usuarios de la red hablan este idioma (26,2%), según datos de Statista».
