ElevenLabs создал ИИ-сервис для клонирования голоса и дубляжа видео на 20 языках

Стартап ElevenLabs разработал сервис на базе искусственного интеллекта, который может дублировать видео на 20 языках с сохранением голоса актеров.

Что известно

ElevenLabs — это стартап, предлагающий услугу клонирования голоса с помощью искусственного интеллекта на основе загруженных в аудиообразцов. Новая функция дублирования делает по сути то же самое: анализирует речь актеров в видео и клонирует их голоса. Затем ИИ генерирует новую аудиодорожку на выбранном языке в том же стиле.

Инструмент поддерживает более 20 языков, включая хинди, португальский, испанский, японский, украинский, польский и арабский. 

По словам компании, инструмент предназначен для медиакомпаний, преподавателей и создателей контента. Однако им необходимо иметь разрешение от правообладателей на создание дубляжа.

ElevenLabs утверждает, что система сможет не только переводить контент, но и генерировать новый диалог на целевом языке, используя собственный голос актера. Также система способна сохранять эмоции и интонации.

Источник: ElevenLabs