OpenAI представила Sora — модель ИИ для преобразования текста в видео

OpenAI

Компания OpenAI анонсировала новую модель генерации видео под названием Sora, которая может создавать реалистичные и фантазийные ролики длиной до минуты по текстовому описанию.

Что известно

По словам OpenAI, Sora создает сложные многофигурные сцены, точно располагает объекты и персонажей в кадре. Модель также способна генерировать различные типы движений.

Introducing Sora, our text-to-video model.

Sora can create videos of up to 60 seconds featuring highly detailed scenes, complex camera motion, and multiple characters with vibrant emotions. https://t.co/7j2JN27M3W

Prompt: “Beautiful, snowy… pic.twitter.com/ruTEWn87vf

— OpenAI (@OpenAI) February 15, 2024

Разработчики отметили способность ИИ детализировать фон, отдельные предметы и персонажей. Более того, она может генерировать лица героев с яркими и разнообразными эмоциями.

Prompt: “A movie trailer featuring the adventures of the 30 year old space man wearing a red wool knitted motorcycle helmet, blue sky, salt desert, cinematic style, shot on 35mm film, vivid colors.” pic.twitter.com/0JzpwPUGPB

— OpenAI (@OpenAI) February 15, 2024

Prompt: “Several giant wooly mammoths approach treading through a snowy meadow, their long wooly fur lightly blows in the wind as they walk, snow covered trees and dramatic snow capped mountains in the distance, mid afternoon light with wispy clouds and a sun high in the distance… pic.twitter.com/Um5CWI18nS

— OpenAI (@OpenAI) February 15, 2024

OpenAI утверждает, что их модель обладает определенным "пониманием" физических законов реального мира. Однако иногда возникают сложности при создании сложных сцен и причинно-следственных связей.

Помимо синтеза видео "с нуля", Sora может дорабатывать и расширять уже имеющиеся видеозаписи. Она способна заполнять пропущенные кадры в последовательности изображений.

В настоящее время Sora доступна только "красным командам", которые оценивают модель на предмет потенциального вреда и рисков. OpenAI также открыла доступ некоторым визуальным художникам, дизайнерам и режиссерам, чтобы получить обратную связь. 

Источник: OpenAI