Adobe представила впечатляющий проект по масштабированию видео с помощью ИИ

Adobe

Исследователи Adobe разработали новую генеративную модель искусственного интеллекта VideoGigaGAN, способную масштабировать размытое видео до восьми раз по сравнению с исходным разрешением.

Что известно

Adobe утверждает, что VideoGigaGAN превосходит другие методы повышения разрешения видео (Video Super Resolution, VSR), обеспечивая более детализированные результаты без нежелательных артефактов, вызванных ИИ.

Традиционно генеративно-состязательные сети (GAN) эффективны для масштабирования неподвижных изображений до высокого разрешения. Однако они испытывают трудности с видео, создавая мерцание и другие дефекты. Альтернативные методы позволяют избежать этого, но не обеспечивают такого же высокого качества.

VideoGigaGAN стремится совместить лучшие стороны — высокое качество результатов GAN с минимальными проблемами артефактов на выходных кадрах. Adobe предоставила несколько примеров, демонстрирующих работу технологии.

Допис від @luokai

Переглянути в Threads

Некоторые мелкие детали в демо-видео, такие как текстура кожи и складки, кажутся полностью сгенерированными, но в целом результаты выглядят естественными. Трудно определить, что разрешение улучшено с помощью генеративного ИИ, что поднимает вопрос о природе фото- и видеоконтента.

Пока VideoGigaGAN остается исследовательским проектом, и неизвестно, внедрит ли Adobe эту технологию в свои продукты вроде Premiere Pro. Ранее компания анонсировала другой эксперимент по повышению разрешения на основе диффузии Project Res-Up.

Источник: The Verge