Vall-E - нова модель ШІ Microsoft, яка імітує будь-який людський голос на основі всього 3-секундного оригіналу

Компанія Microsoft представила нову модель штучного інтелекту під назвою Vall-E. Вона базується на технології EnCodec, яку Meta анонсувала в жовтні 2022 року.

Що це таке

Microsoft називає VALL-E "мовною моделлю нейронного кодека". Цей штучний інтелект здатний імітувати будь-який людський голос, до того ж для цього йому треба прослухати всього 3 секунди оригінального голосу. ШІ розбиває інформацію на компоненти та синтезує варіації його звучання в різних фразах, у результаті чого може точно відтворювати тембр та емоційний тон мовця.

Для навчання Vall-E компанія Microsoft використовувала записи 60 тисяч годин розмов, які записали понад 7 тисяч реальних людей. Здебільшого для цього брали аудіокниги з бібліотеки LibriVox.

Приклади імітації голосів Vall-E можна послухати на GitHub.

Microsoft каже, що Vall-E можна буде використовувати як інструмент перетворення тексту на голос, спосіб редагування мови та систему створення аудіо, поєднавши його з іншими генеративними ШІ.

Джерело: Vall-E