NVIDIA QUEEN: модель ШІ, що дозволяє змінювати ракурс перегляду відео в режимі реального часу в 350 fps
Компанія NVIDIA спільно з Університетом Меріленду представила нову модель ШІ QUEEN (QUantized Efficient ENcoding — Кількісне ефективне кодування), яка дозволяє швидко та ефективно реконструювати динамічні 3D-сцени навіть в режимі реального часу. Ця технологія може бути застосована в потоковому передаванні відео з вільною точкою огляду.
Що відомо
Особливістю моделі є її здатність ефективно стискати дані, зберігаючи високу якість зображення. Це дозволяє використовувати її у сферах, де важлива оперативність і точність: у спорті, медицині, промисловості та медіа. QUEEN використовує метод 3D Gaussian Splatting для створення потокових відео з вільною точкою огляду. Вона здатна навчатися за менш ніж 5 секунд і відтворювати сцени зі швидкістю приблизно 350 кадрів на секунду, зменшуючи розмір моделі до 0.7 МБ на кадр. Це досягається завдяки ефективному кодуванню залишкових атрибутів між послідовними кадрами та застосуванню квантово-рідкісної структури для стиснення даних. Ось як це виглядає в реальності:
Відео: демонстрація роботи NVIDIA Queen, джерело: NVIDIA
Наш метод QUEEN здатний знімати динамічні сцени з високою візуальною якістю та зменшувати розмір моделі лише до 0,7 МБ на кадр, тренуючись менше ніж за 5 секунд і відтворюючи зі швидкістю ~350 FPS.
Модель QUEEN буде представлена на конференції NeurIPS 2024, яка розпочнеться 10 грудня у Ванкувері, Канада. Очікується, що код моделі буде опублікований з відкритим доступом на сторінці проєкту. Ця розробка є однією з понад 50 робіт NVIDIA, які будуть представлені на NeurIPS 2024, демонструючи досягнення компанії в галузі штучного інтелекту з потенційними застосуваннями в симуляціях, робототехніці та охороні здоров'я.
Відео: демонстрація роботи NVIDIA Queen, джерело: NVIDIA
Чому це важливо
Модель QUEEN допоможе створювати в режимі реального часу дуже круті 3D-картинки та відео, які можна побачити з різних сторін. Уявіть, що ви дивитесь матч улюбленої команди й можете самі обрати, з якого ракурсу дивитися гол! Або на лекції замість звичайних ілюстрацій на дошці з’являється справжня 3D-анімація, яка пояснює, як щось працює. Це зробить навчання та розваги ще цікавішими.
