ElevenLabs har utviklet en AI-tjeneste for stemmekloning og ettersynkronisering av video på 20 språk.

Jacek Dylag/Unsplash

Oppstartsbedriften ElevenLabs har utviklet en tjeneste basert på kunstig intelligens som kan dubbe videoer på 20 språk og samtidig bevare stemmene til stemmeskuespillerne.

Dette er hva vi vet

ElevenLabs er en oppstartsbedrift som tilbyr en tjeneste for stemmekloning ved hjelp av kunstig intelligens basert på lydprøver som lastes opp. Den nye dupliseringsfunksjonen gjør i hovedsak det samme: Den analyserer talen til skuespillerne i en video og kloner stemmene deres. Den kunstige intelligensen genererer deretter et nytt lydspor i samme stil på det valgte språket.

Verktøyet støtter mer enn 20 språk, blant annet hindi, portugisisk, spansk, japansk, ukrainsk, polsk og arabisk.

Ifølge selskapet er verktøyet utviklet for medieselskaper, lærere og innholdsskapere. De må imidlertid ha tillatelse fra rettighetshaverne til å lage dubbing.

ElevenLabs hevder at systemet ikke bare kan oversette innhold, men også generere ny dialog på målspråket ved hjelp av skuespillerens egen stemme. Systemet er også i stand til å lagre følelser og intonasjoner.

Kilde: ElevenLabs