Si alguna vez has visto un programa de Star Wars en Disney Plus, es muy probable que estés familiarizado con el trabajo de una startup tecnológica. Respeto, te des cuenta o no. La plataforma de clonación de voz impulsada por IA de la compañía ucraniana proporcionó la interpretación vocal envejecida de Mark Hamill en ambos el mandaloriano y El libro de Boba Fettasí como para un personaje aún no identificado en Obi Wan Kenobi. Lucasfilm le ha pedido a Respeecher que mantenga en secreto el nombre de ese personaje por ahora, y con tantos veteranos de la franquicia que regresan para la serie, ciertamente no hay escasez de candidatos potenciales.
Polygon habló con el CEO de Respeecher, Alex Serdiuk, para comprender mejor un proceso que, para muchos fanáticos, sin duda raya en el sacrilegio: usar tecnología para crear actuaciones totalmente personalizadas para uno (o posiblemente dos) de los personajes más icónicos de la saga Star Wars. Desde el principio, Serdiuk enfatiza el elemento humano detrás de la plataforma misma. “Con nuestra tecnología y nuestros servicios, podemos crear una copia digital de una voz en particular y permitir que otra persona hable con esa voz”, explica. “Y por lo tanto permitimos [studios] escalar voces, envejecer voces e incluso resucitar voces para algunos proyectos”.
Entonces, lejos de la imagen mental evocada por términos como “inteligencia artificial” y “clonación de voz” (la de un ingeniero de sonido que ejecuta líneas de diálogo a través de un algoritmo de computadora que luego escupe archivos de audio), el trabajo de Respeecher en Star Wars es sorprendentemente de rendimiento. impulsado. Si bien el propio Darth Vader puede ser ahora más una máquina que un hombre, si la startup ucraniana proporciona su voz (y recuerda, dijimos “si”), la esencia de la voz del personaje sigue siendo en gran medida de carne y hueso.
Imagen: Lucasfilm
“Aún no existe una IA, y no creo que exista, que nos permita usarla llave en mano para crear el rendimiento que deseamos crear. […] Necesitamos otra voz humana [to provide] entrada porque esa voz humana da todas las inflexiones, el acento, el estilo de habla y el ritmo que la IA no puede crear”, insiste Serdiuk. Y agrega: “Nuestro sistema requiere una actuación en la entrada, por lo que puede ser realizada por la misma persona que está siendo re-envejecida, por ejemplo, o por otra persona. […] Toma toda la actuación, toda la actuación de lo que llamamos una ‘voz fuente’, y luego hacemos la conversión”.
Lo que es más, la canalización de Respeecher permite a actores como Hamill grabar diferentes tomas como lo harían en un set real, que los expertos de la compañía pueden ajustar luego al final en función de las notas de showrunners como Jon Favreau o directores como Deborah Chow.
“Con proyectos de estudio y películas, podrían grabar miles de tomas para cada línea, y eso significa que tendríamos que convertir todas esas [into the younger voice], enviarlos de vuelta, y tal vez enviar diferentes versiones porque solíamos entrenar diferentes modelos con diferentes configuraciones”, dice. “Y a veces también necesitamos cumplir con las expectativas creativas para que puedan dirigirnos, ¿Puedes intentar hacer [a line reading] ¿suena un poco más así? y trabajaríamos para que suene un poco más como lo piden”.
Entonces, ¿el objetivo final es recrear una actuación tradicional a través de medios no tradicionales, en el caso de el mandaloriano o El libro de Boba Fettcomo si las líneas de Hamill se transmitieran de alguna manera directamente desde el set de 1983 Star Wars: El retorno del Jedi? “El objetivo es hacer que suene como si hubiera sido grabado ayer en el estudio por la propia voz objetivo”, coincide Serdiuk.
Por supuesto, todavía existe el riesgo con la tecnología de clonación de voz como la de Respeecher de que la interpretación sintetizada que produce suene artificial, incluso si los espectadores no están completamente seguros de por qué. Serdiuk incluso admite que la voz envejecida de Hamill suena “mucho, mucho mejor” en El libro de Boba Fett de lo que hizo en el mandaloriano, gracias a mejoras pequeñas pero significativas en la forma en que se “entrenó” el modelo de IA de Respeecher para emular la voz del actor. Al mismo tiempo, el CEO también se apresura a señalar que, si bien muchos fanáticos se quejaron de los efectos visuales utilizados para retratar a Luke Skywalker de veintitantos años en el mandaloriano finale, pocos se dieron cuenta de que la voz del Maestro Jedi también era sintética hasta que Lucasfilm derramó los frijoles en un Galería Disney especial “making of” varios meses después.
Serdiuk menciona que la convincente voz envejecida de Hamill en el mandaloriano y El libro de Boba Fett fueron aún más impresionantes teniendo en cuenta la calidad de los activos heredados que Respeecher recibió de Lucasfilm. “Que [data] era bastante antiguo, así que teníamos algo de cintas, tenemos una grabación ADR antigua, algo de un videojuego”, recuerda Serdiuk. “Y la cuestión es que necesita entrenar estos datos en su modelo para permitirle producir la calidad de salida que encajaría en una producción moderna. En muchos proyectos que implican envejecer o resucitar [performer’s voices]este podría ser el principal desafío porque la falta de datos y la calidad de los datos introducen obstáculos adicionales en términos de hacer que suene bien”.
El CEO de Respeecher sostiene que ha valido la pena superar estos obstáculos relacionados con los datos, ahora que los pesos pesados de la industria como Lucasfilm han aceptado el trabajo que hacen. “[We] comenzó con la idea de construir un discurso sintético [platform] en el nivel donde pasaría por ingenieros de sonido y estudios de Hollywood y aterrizaría en grandes producciones. Entonces, cuando aceptan nuestro sonido, cuando dicen algo bueno sobre el sonido que pudimos producir, y ese es un desafío técnico muy complicado y pesado, hacer un discurso sintetizado en el nivel en el que sería indistinguible de una grabación real, en esos casos, realmente nos anima y nos ayuda a crecer”, dice.
Le planteé a Serdiuk que la creciente aceptación de la tecnología de clonación de voz podría significar que los estudios ya no recurran a personas con talento para que sustituyan a los actores fallecidos. Por ejemplo, ¿no Rogue One: Una historia de Star Wars – en el que Guy Henry imitó la voz del difunto Peter Cushing como Grand Moff Tarkin – ¿sería el tipo de proyecto que aterrizaría automáticamente en el escritorio de Respeecher ahora? No necesariamente, según Serdiuk, quien ve la tecnología de clonación de voz de Respeecher como una de varias opciones viables a disposición de los cineastas.
:format(webp):no_upscale()/cdn.vox-cdn.com/uploads/chorus_asset/file/7708165/rogue_one_death_star_tarkin_845.jpg)
“Siempre hay diferentes visiones de cómo deberían suceder las cosas en la industria y los fanáticos tienen diferentes pensamientos sobre cómo deberían suceder. yo no diría eso [Respeecher] es muy adecuado para estar a cargo o juez [which approach is best],” él dice. Serdiuk también dejó en claro que si Lucasfilm alguna vez llama a Respeecher para recrear la voz de un actor muerto, la compañía solo lo hará con la aprobación de los herederos de ese actor. Y aunque la respuesta de Serdiuk tranquilizará a los actores de doblaje por ahora, el hecho de que Lucasfilm sea un cliente habitual de Respeecher sugiere que la startup ha hecho grandes avances en la tecnología de clonación de voz.
De hecho, Serdiuk ya tiene una visión para el futuro de Respeecher que se extiende más allá de las voces de los actores que envejecen, aunque se mantiene firme en que lo que la compañía ha planeado expandirá los horizontes creativos de los cineastas, no los reducirá. Habla de democratizar la tecnología para que los estudios de cine y televisión más pequeños y los desarrolladores de videojuegos puedan usarla para estirar aún más sus presupuestos. También habla con entusiasmo sobre las innovadoras aplicaciones para el cuidado de la salud de la plataforma de Respeecher, incluso citando un caso en el que la compañía está colaborando con un actor de doblaje que perdió la voz para permitirles volver a actuar.
Sin embargo, mirar hacia el futuro no significa que Serdiuk haya perdido de vista lo que significa para Respeecher ser parte de cierta ópera espacial ambientada hace mucho tiempo en una galaxia muy, muy lejana. “Es algo especial. Quiero decir, eres parte de esta historia. Podemos decir con justicia que Star Wars abrió mucho camino para Hollywood, ¿verdad? Han revolucionado la industria, desde un punto de vista técnico, desde el principio, y la forma en que hacen sus películas es excepcional. Por lo tanto, es un gran honor poder trabajar con esas personas y aprender de ellas”.
