ElevenLabs heeft een AI-dienst gemaakt voor het klonen van stemmen en nasynchroniseren van video's in 20 talen

Jacek Dylag/Unsplash

Startup ElevenLabs heeft een op kunstmatige intelligentie gebaseerde service ontwikkeld die video's in 20 talen kan nasynchroniseren met behoud van de stemmen van de stemacteurs.

Dit is wat we weten

ElevenLabs is een startup die een dienst aanbiedt voor het klonen van stemmen met behulp van kunstmatige intelligentie op basis van geüploade audiomonsters. De nieuwe duplicatiefunctie doet in wezen hetzelfde: het analyseert de spraak van acteurs in een video en kloont hun stemmen. De AI genereert vervolgens een nieuwe audiotrack in de geselecteerde taal in dezelfde stijl.

De tool ondersteunt meer dan 20 talen, waaronder Hindi, Portugees, Spaans, Japans, Oekraïens, Pools en Arabisch.

Volgens het bedrijf is de tool bedoeld voor mediabedrijven, opvoeders en content creators. Ze moeten echter wel toestemming hebben van de auteursrechthebbenden om nasynchronisatie te kunnen maken.

ElevenLabs beweert dat het systeem niet alleen content kan vertalen, maar ook nieuwe dialogen kan genereren in de doeltaal met behulp van de stem van de acteur zelf. Het systeem is ook in staat om emoties en intonaties op te slaan.

Bron: ElevenLabs