Adobe представила вражаючий проєкт із масштабування відео за допомогою ШІ

Дослідники Adobe розробили нову генеративну модель штучного інтелекту VideoGigaGAN, здатну масштабувати розмите відео до восьми разів порівняно з вихідною роздільною здатністю.

Що відомо

Adobe стверджує, що VideoGigaGAN перевершує інші методи підвищення роздільної здатності відео (Video Super Resolution, VSR), забезпечуючи більш деталізовані результати без небажаних артефактів, викликаних ШІ.

Традиційно генеративно-змагальні мережі (GAN) ефективні для масштабування нерухомих зображень до високої роздільної здатності. Однак вони зазнають труднощів із відео, створюючи мерехтіння та інші дефекти. Альтернативні методи дають змогу уникнути цього, але не забезпечують такої ж високої якості.

VideoGigaGAN прагне поєднати найкращі сторони - високу якість результатів GAN з мінімальними проблемами артефактів на вихідних кадрах. Adobe надала кілька прикладів, що демонструють роботу технології.

Допис від @luokai

Переглянути в Threads

Деякі дрібні деталі в демо-відео, як-от текстура шкіри та складки, здаються повністю згенерованими, але загалом результати виглядають природними. Важко визначити, що роздільну здатність покращено за допомогою генеративного ШІ, що піднімає питання про природу фото- і відеоконтенту.

Наразі VideoGigaGAN залишається дослідницьким проєктом, і невідомо, чи впровадить Adobe цю технологію у свої продукти на кшталт Premiere Pro. Раніше компанія анонсувала інший експеримент із підвищення роздільної здатності на основі дифузії Project Res-Up.

Джерело: The Verge