Как в кино: нейросеть Google научилась повышать резкость фото
В фильмах мы часто видим, как герои увеличивают интересующий участок фото или видео, который моментально «улучшается» и позволяет рассмотреть все в мельчайших деталях. На практике получить из размытого изображения четкий кадр невозможно, хотя не все так безнадежно. Команда проекта Google Brain разработала алгоритм, который позволяет восстанавливать детали на фото даже при очень низком разрешении.
Как это работает
В своем эксперименте исследователи задействовали сразу две нейросети. Первая сравнивает исходное фото 8x8 пикселей с картинками высокого разрешения, уменьшая их до тех же размеров. Таким образом можно с высокой вероятностью предсказать, что именно изображено на каждом пикселе будущего улучшенного снимка.
Вторая нейросеть на архитектуре PixelCNN анализирует похожие изображения и добавляет детали на имеющееся фотографии. Если искусственный интеллект знает, что в кадре находится лицо, пиксели темно-коричневого цвета в верхней части могут указывать на расположение бровей. На очередном этапе повышения разрешения алгоритм дорисует коричневые пиксели нужной формы. Благодаря совместной работе двух нейросетей всего из 64 пикселей можно получить намного более детализированное изображение:
Справа показаны оригинальные фото
Само собой, нейросети Google не могут восстановить несуществующие детали на снимке и показывают всего лишь наиболее вероятный результат. Зато они помогут понять, что изображено на некачественном фото. Команда проекта добавляет, что во время сравнения фотографий знаменитостей в 10% случаев «улучшенную» версию принимали за настоящее изображение. Сгенерированные снимки спальной комнаты обманули 28% участников эксперимента.
Где может пригодиться
По аналогии с детективными сериалами, технология Google Brain может помочь в выслеживании преступников, которые попали на запись камеры видеонаблюдения. Сами исследователи не акцентировали внимание на реальном использовании своего алгоритма. Они просто любят экспериментировать с нейросетями. На закуску — нарезка тех самых моментов из фильмов:
Источники: wccftech, Google Brain [PDF]