Vall-E - нова модель ШІ Microsoft, яка імітує будь-який людський голос на основі всього 3-секундного оригіналу
Компанія Microsoft представила нову модель штучного інтелекту під назвою Vall-E. Вона базується на технології EnCodec, яку Meta анонсувала в жовтні 2022 року.
Що це таке
Microsoft називає VALL-E "мовною моделлю нейронного кодека". Цей штучний інтелект здатний імітувати будь-який людський голос, до того ж для цього йому треба прослухати всього 3 секунди оригінального голосу. ШІ розбиває інформацію на компоненти та синтезує варіації його звучання в різних фразах, у результаті чого може точно відтворювати тембр та емоційний тон мовця.
Для навчання Vall-E компанія Microsoft використовувала записи 60 тисяч годин розмов, які записали понад 7 тисяч реальних людей. Здебільшого для цього брали аудіокниги з бібліотеки LibriVox.
Приклади імітації голосів Vall-E можна послухати на GitHub.
Microsoft каже, що Vall-E можна буде використовувати як інструмент перетворення тексту на голос, спосіб редагування мови та систему створення аудіо, поєднавши його з іншими генеративними ШІ.
Джерело: Vall-E
