ByteDance запускает ИИ-видеогенератор OmniHuman-1, который создаёт сверхреалистичные видео с любого фото

Китайская компания ByteDance, материнская компания TikTok, анонсировала новый фреймворк искусственного интеллекта под названием OmniHuman-1. Этот инструмент может преобразовать одно изображение и аудиозапись в реалистичное видео с точными движениями лица и тела.

Что известно

OmniHuman-1 использует технологию микширования данных, что позволяет ему создавать более реалистичные видео по сравнению с другими моделями. Исследователи ByteDance заявили, что разработка OmniHuman-1 включала обучение на 19 000 часах видеоматериалов, что значительно улучшило качество генерируемых видео.

Инструмент поддерживает изображения любого соотношения сторон, будь то портреты или изображения в полный рост. OmniHuman-1 может генерировать реалистичные движения рук, мимику и жесты тела, что делает его идеальным для создания образов в виртуальной реальности, образовательных видео и других целей. Пример такой генерации с фото Альберта Эйнштейна можно увидеть ниже.

Пока OmniHuman-1 находится на стадии исследований, но его потенциал уже вызывает большой интерес. Когда он станет доступен широкой публике, он будет конкурировать с другими инструментами, такими как Sora и Veo от OpenAI и Google соответственно.

Источник: omnihuman