Nieuwe startup Flawless gebruikt Deepfake technologie voor nasynchronisatie van films
Netflix, AppleTV+, Disney+, Amazon Prime Video, HBO Max, Hulu… aan streamingdiensten geen gebrek. Internationale films en series kregen nog nooit zoveel exposure als vandaag, en Corona gaf velen de tijd om er in te duiken.
Internationaal betekent ook een diversiteit aan talen, en dan kom je bij iets waar ik allergisch voor ben: ‘het dubben van de acteurs’. Plots is die Poolse of Braziliaanse serie volledig in het Engels of Frans. Makkelijk omdat je gespaard blijft van ondertitels, maar voor mij een verkrachting van het origineel.
Acteurs leggen gevoel in hun acteerprestaties, en “poef”, weg ermee, gedubd. Neen, een Franse stemacteur kan niet het talent van Pacino, De Niro of Freeman vervangen; noch van Blanchett of Streep. En dan de mond die niet synchroon loopt met de spraak. OMG. Ik kan op niets anders letten en weg sfeer.
Geef mij maar alle nuances van taal, de emotie en kracht. En ondertussen leer je een woordje andere talen. Nog voor ik als student mijn eerste les Engels kreeg, was ik die taal machtig dankzij films en series op de BBC.
Artificiële Intelligentie van Flawless gaat voor perfectie
De startup ‘Flawless’ zet AI in om het dubben levensecht te maken. Ze gebruiken technologie die vergelijkbaar is met die van “deepfake”, waarbij videobeelden worden gemanipuleerd om een persoon iets te laten zeggen wat hij of zij niet zegt.
Flawless gebruikt het om het gezicht van een acteur in een film te manipuleren en aan te passen zodat de bewegingen van diens mond, en de spieren in het gezicht, overeenstemmen met hoe ze zouden bewegen wanneer het werkelijk in een andere taal gesproken zou zijn.
Dus ook al is de tekst gedubd, het is niet te zien. Over de acteerprestaties van de voiceover laat ik me even niet uit.
“De TrueSync-software AI-oplossing van Flawless vervangt de gezichtsuitdrukking van een acteur in lijn met de nagesynchroniseerde spraak, voor een anderstalig publiek”.
TrueSync analyseert met artificiële intelligentie- en Machine Learning de videobeelden van een acteur, om de subtiele nuances te leren van hoe de lipbewegingen zich verhouden tot andere kenmerken van zijn gezicht, waaronder hoofdpositie en oogbeweging. Aan de andere kant analyseert het de prestatie van de vertaler, dan genereert het nieuwe beelden, die de stijl van de acteur handhaven, terwijl de lipbewegingen van de vertaler worden opgenomen. De nieuwe beelden worden uitsluitend op het gezicht van de acteur weergegeven, en de oorspronkelijke achtergrond blijft ongewijzigd. Hier zie je een voorbeeld met Robert De Niro.
Misbruik van Deepfake
Redenen genoeg om bezorgd te zijn over het gebruik van artificiële intelligentie en neurale netwerken om foto’s en video’s te manipuleren. Je kan er situaties mee creëren die nooit echt hebben plaatsgevonden, maar levensecht lijken. Bijvoorbeeld, publieke figuren letterlijk woorden in de mond leggen of bekende acteurs verwerken in pornofilms.
In een aantal virale video’s met Tom Cruise zijn het niet de goocheltrucs of de grappen van de acteur die bedrieglijk zijn, maar het feit dat het eigenlijk helemaal niet Tom Cruise is. De video’s, die door het account @deeptomcruise naar TikTok zijn geüpload, deden de bezorgdheid rond geloofwaardige deepfakes weer oplaaien.
Flawless zegt te hebben gewerkt aan AI-technologie “om synthetisch gegenereerde of bewerkte video’s met hoge precisie te detecteren, zodat het makkelijker wordt om vervalsingen te herkennen.” Ze geven immers zelf ook aan dat deze tech voor misbruik kan dienen.
We schreven eerder al over de gevaren van Deepfake; lees: Google bindt strijd aan tegen Deepfakes.
Waarom Deepfake?
Gelukkig heeft de technologie toch ook wel nut. Bijvoorbeeld in Learning-video’s, of zoals het toegankelijker en betaalbaarder blijven maken van series en films.
Maar is dat allemaal wel nodig? De Zuid-Koreaanse film Parasite was op de Oscars in 2020 met vier beeldjes de grote winnaar. De zwarte komedie van regisseur Bong Joon-Ho won als eerste niet-Engelstalige film in de geschiedenis het beeldje voor beste film. Toen waren ondertitels hot topic.
De ene vindt dat een eindeloze reeks tekst over een film afleidt van al het andere dat op het scherm gebeurt, terwijl een ander vindt dat een nasynchronisatie, zelfs door een getalenteerde en doorgewinterde stemartiest, de emoties achter de prestatie van de oorspronkelijke acteur gewoon niet kan evenaren of nabootsen; zelfs wanneer je woorden niet kan verstaan. Reken mij bij die laatsten.
Flawless zegt dat ondanks het gezicht van een acteur wordt vervangen, de oorspronkelijke genuanceerde performance behouden blijft en deze overgebracht wordt naar het ‘vaste’ gezicht met de juiste lipbewegingen voor een vreemde taal. Het bedrijf heeft op zijn website een paar voorbeelden gegeven van waar de TrueSync-tool toe in staat is. Hierboven toonden we De Niro, maar ook Tom Hanks lijkt foutloos Japans te spreken in Forrest Gump.
Filmmaken heruitgevonden?
Filmmakers nemen een take op vanuit steeds verschillende hoeken. Bij montage biedt dat heel wat mogelijkheden aan dynamiek. Vanuit een productiestandpunt is dat erg tijdrovend en duur. Wat software zoals TrueSync mogelijk maakt, is dat je één goede opname kunt maken vanuit één hoek en die dan softwarematig recreëren vanuit andere hoeken.
Ook het vermaken van buitenlandse films zou tot het verleden kunnen gaan behoren. In plaats van een film te moeten hermaken in een andere taal, zullen we kunnen genieten van het origineel; doch aangepast.
Neem nu de Vlaamse film “Loft”, waarvan in 2021 een ‘The Loft’ Bollywood-versie uitkomt op Netflix. Daarmee is dat al de derde remake. De regisseur van het origineel, Erik Van Looy, regisseerde zelf de Amerikaanse versie, ‘The Loft’, en ook in Nederland werd er een eigen versie gemaakt.
Daar zie ik toch mooie opportuniteit voor internationale filmmakers en acteurs; die in eigen land topprestaties neerzetten maar eigenlijk op het wereldtoneel zouden moeten staan.
Flawless is goed op weg, maar nog een beetje te irritant…
Goed op weg, maar toch nog niet perfect. Een kritisch oog ziet nog steeds verschil tussen het origineel en de met TrueSync-bewerkte clips. Ze zien er niet zo natuurlijk uit als de originele uitvoeringen, en dat is deels te wijten aan het feit dat de technologie erachter nog in de kinderschoenen staat. Te vergeven op dit moment uiteraard, maar ook nog net iets te irritant om naar te blijven kijken.
Deze startup zet wel knappe prestaties neer en naarmate de technologie vordert, zal ook TrueSync ons ongetwijfeld blijven verbazen.
En goed nieuws voor het bedrijf, want ze hebben hun eerste contract beet; maar met wie, dat mogen ze nog niet bekendmaken. Wel is geweten dat de prijs gebaseerd zal zijn op het aantal vertalingen en de lengte van de film. Wij houden het in de gaten.
Steven Dupont
#WhatsNext is een blog over innovatie, kunst en design, gebracht in mensentaal. Op de hoogte blijven? Volg ons op:
En pssst… sharing is caring 🙂
#WhatsNext: Innovatie, Kunst en Design 