Ученые научились анимировать фотографии с помощью видео. Теперь Мона-Лиза улыбается.

Исследователи из Тель-Авивского университета и разработчики из Facebook создали программу, которая позволяет анимировать статичные фотографии, заставляя людей на них улыбаться, морщить нос или плакать. Для этого нужно лишь видео с записью эмоции.

Как это работает

Для начала нам нужно видео с какой-то эмоциональной реакцией человека. С помощью довольно сложного алгоритма программа создает маску лица, а затем переносит ее на нужную фотографию. Затем программа заставляет двигаться точки этой маски точно так же, как на видеосемпле. В результате скучное селфи на аватарке в фейсбуке может улыбнуться или скривить рожицу. Самое крутое, что полученную маску можно использовать не только для фотографий, но и для рисунков. На видео ниже можно увидеть, как с помощью программы разработчики заставили улыбаться Мону Лизу и Альберта Эйншейна, а художница Фриду Кало двигает своей знаменитой монобровью.

Почему это круто

Google и Apple пока смогли научить свои приложения Live Photos и Motion Photos превращать статичные фотографии в гифки. Но это скорее хитрость, т. к. оба приложения помимо фотографии захватывают крохотные видео-семплы, которые впоследствии и заставляют картинку двигаться. Здесь же мы говорим об анимации одного объекта с помощью другого. Скорее, это ближе к технологии Motion Capture. 

Можно ли попробовать самому

Пока нет. Только посмотреть видео. Но учитывая тот факт, что половина разработчиков программы работает в Facebook, велика вероятность, что соцсеть в ближайшее время придумает, как использовать эту программу. 

Источник: Engadget