ElevenLabs har skabt en AI-tjeneste til stemmekloning og eftersynkronisering af video på 20 sprog

Jacek Dylag/Unsplash

Startup-virksomheden ElevenLabs har udviklet en kunstig intelligens-baseret tjeneste, der kan eftersynkronisere videoer på 20 sprog, samtidig med at stemmeskuespillernes stemmer bevares.

Her er, hvad vi ved

ElevenLabs er en startup, der tilbyder en stemmekloningstjeneste ved hjælp af kunstig intelligens baseret på lydprøver, der er uploadet til den. Den nye duplikeringsfunktion gør stort set det samme: Den analyserer talen fra skuespillerne i en video og kloner deres stemmer. AI'en genererer derefter et nyt lydspor på det valgte sprog i samme stil.

Værktøjet understøtter mere end 20 sprog, bl.a. hindi, portugisisk, spansk, japansk, ukrainsk, polsk og arabisk.

Ifølge virksomheden er værktøjet designet til medievirksomheder, undervisere og indholdsskabere. De skal dog have tilladelse fra copyright-indehavere til at lave eftersynkronisering.

ElevenLabs hævder, at systemet ikke kun vil kunne oversætte indhold, men også generere ny dialog på målsproget ved hjælp af skuespillerens egen stemme. Systemet er også i stand til at lagre følelser og intonationer.

Kilde: ElevenLabs