Meta выпустила ИИ-генератор звуков и песен AudioCraft и открыла его исходный код

Компания Meta выпустила ИИ-инструмент с открытым исходным кодом AudioCraft, которая позволяет генерировать музыку и звуки по текстовым подсказкам.

Что известно

AudioCraft состоит из трех моделей ИИ, каждая из которых решает различные задачи генерации звука: 

• MusicGen создает музыку. Ее обучили на 20 000 часах музыки, принадлежащей Meta или лицензированной специально для этой цели;
• AudioGen генерирует звуки, имитируя лай собак или шаги. Модель обучили на записях, собранных в общественных местах;
• декодер EnCodec позволяет создавать звуки с меньшим количеством артефактов.

В Meta считают, что AudioCraft способен вызвать новую волну песен, подобно тому, как в свое время синтезаторы изменили музыку. Также компания открыла исходный код инструмента, чтобы разнообразить данные, используемые для его обучения. 

Послушать образцы музыки и звуков, созданных AudioCraft, можно на сайте проекта. Исходный код инструмента доступен на GitHub.

Источник: Meta AI