Нейросеть NVIDIA превращает обычные видео в замедленные

Инженеры NVIDIA разработали систему искусственного интеллекта для создания слоу-мо из обычных роликов.

Как это работает?

Нейросеть анализирует видео с частотой 30 кадров в секунду и «дорисовывает» по семь промежуточных кадров между соседними изображениями, чтобы получить плавную запись с частотой уже 240 кадров в секунду. Обработка производилась на ускорителях NVIDIA Tesla V100 с использованием фреймворка глубокого обучения PyTorch. Исследователи натренировали алгоритмы на 11 000 замедленных видео, снятых со скоростью 240 кадров в секунду.

Сегодня смартфоны умеют снимать видео даже с большей частотой, но обычно при этом снижается разрешение. Технология NVIDIA также позволяет «растянуть» нужный момент в уже записанном ролике, а этого мобильные устройства пока не умеют.

Машинное обучение пригодиться и при высокоскоростной съёмке. На примере роликов The Slow Mo Guys авторы проекта показали, как можно сделать видео ещё более замедленным.

Лучше не бывает

По словам NVIDIA, их система превосходит все существующие аналоги с покадровой обработкой. Сколько времени занимает создание слоу-мо, в компании не сообщили. Популярный плагин Twixtor, к примеру, может легко загрузить систему на несколько часов.

Что компания собирается делать дальше со своей разработкой — неизвестно. Возможно, функция «замедления времени» позже появится в фирменном облачном сервисе NVIDIA GPU Cloud.

Источники: NVIDIA, Gizmodo