NVIDIA QUEEN: модель ИИ, позволяющая менять ракурс просмотра видео в режиме реального времени в 350 fps
Компания NVIDIA совместно с Университетом Мэриленда представила новую модель ИИ QUEEN (QUantized Efficient ENcoding - Количественное эффективное кодирование), которая позволяет быстро и эффективно реконструировать динамические 3D-сцены даже в режиме реального времени. Эта технология может быть применена в потоковой передаче видео со свободной точкой обзора.
Что известно
Особенностью модели является ее способность эффективно сжимать данные, сохраняя высокое качество изображения. Это позволяет использовать ее в сферах, где важна оперативность и точность: в спорте, медицине, промышленности и медиа. QUEEN использует метод 3D Gaussian Splatting для создания потоковых видео со свободной точкой обзора. Она способна обучаться за менее чем 5 секунд и воспроизводить сцены со скоростью примерно 350 кадров в секунду, уменьшая размер модели до 0.7 МБ на кадр. Это достигается благодаря эффективному кодированию остаточных атрибутов между последовательными кадрами и применению квантово-жидкостной структуры для сжатия данных. Вот как это выглядит в реальности:
Видео: демонстрация работы NVIDIA Queen, источник: NVIDIA
Наш метод QUEEN способен снимать динамические сцены с высоким визуальным качеством и уменьшать размер модели лишь до 0,7 МБ на кадр, тренируясь менее чем за 5 секунд и воспроизводя со скоростью ~350 FPS.
Модель QUEEN будет представлена на конференции NeurIPS 2024, которая начнется 10 декабря в Ванкувере, Канада. Ожидается, что код модели будет опубликован с открытым доступом на странице проекта. Эта разработка является одной из более 50 работ NVIDIA, которые будут представлены на NeurIPS 2024, демонстрируя достижения компании в области искусственного интеллекта с потенциальными применениями в симуляциях, робототехнике и здравоохранении.
Видео: демонстрация работы NVIDIA Queen, источник: NVIDIA
Почему это важно
Модель QUEEN поможет создавать в режиме реального времени очень крутые 3D-картинки и видео, которые можно увидеть с разных сторон. Представьте, что вы смотрите матч любимой команды и можете сами выбрать, с какого ракурса смотреть гол! Или на лекции вместо обычных иллюстраций на доске появляется настоящая 3D-анимация, которая объясняет, как что-то работает. Это сделает обучение и развлечения еще интереснее.