ElevenLabs hat einen KI-Dienst zum Klonen von Stimmen und Synchronisieren von Videos in 20 Sprachen entwickelt

Jacek Dylag/Unsplash

Das Startup ElevenLabs hat einen auf künstlicher Intelligenz basierenden Dienst entwickelt, der Videos in 20 Sprachen synchronisieren kann, wobei die Stimmen der Sprecher erhalten bleiben.

Was bekannt ist

Das Startup ElevenLabs bietet einen Dienst zum Klonen von Stimmen an, der künstliche Intelligenz auf der Grundlage von hochgeladenen Audioproben einsetzt. Die neue Vervielfältigungsfunktion macht im Wesentlichen dasselbe: Sie analysiert die Sprache der Schauspieler in einem Video und klont ihre Stimmen. Die künstliche Intelligenz erzeugt dann eine neue Audiospur in der ausgewählten Sprache im gleichen Stil.

Das Tool unterstützt mehr als 20 Sprachen, darunter Hindi, Portugiesisch, Spanisch, Japanisch, Ukrainisch, Polnisch und Arabisch.

Nach Angaben des Unternehmens ist das Tool für Medienunternehmen, Pädagogen und Ersteller von Inhalten gedacht. Sie müssen jedoch die Erlaubnis der Urheberrechtsinhaber einholen, um Synchronisationen zu erstellen.

ElevenLabs behauptet, dass das System nicht nur in der Lage ist, Inhalte zu übersetzen, sondern auch neue Dialoge in der Zielsprache unter Verwendung der eigenen Stimme des Schauspielers zu erzeugen. Das System ist auch in der Lage, Emotionen und Intonationen zu speichern.

Quelle: ElevenLabs