Facebook створили штучний інтелект, що перетворює реальних людей у керованих ігрових персонажів

Дослідницька група Facebook створила ШІ під назвою Vid2Play, який може зробити ігрових персонажів на основі відео з реальними людьми.

Як їм це вдалося

Команда використовувала дві нейронні мережі: Pose2Pose та Pose2Frame. Спочатку відео подається у Pose2Pose, призначену для визначення різних типів дій на зразок танців, гри у теніс або фехтування. Потім система відокремлює фігуру людини разом з її тінню і предметами в руках від заднього плану та вставляє їх на чорний фон. Після цього можна керувати рухом об'єкта за допомогою джойстика або клавіатури.

Для навчання системи потрібно було лише кілька коротких відеороликів. Штучний інтелект був у змозі прибрати інших людей та компенсувати різні кути камери. Дослідження нагадує функцію в Adobe After Effects для видалення зайвих елементів з відео, таких як туристи або сміттєві баки. 

Поки що анімація недосконала - фігура виглядає ковзною, а діапазон руху трохи обмежений. Однак, це великий прогрес у порівнянні з попередніми спробами вилучення персонажа з ролика.

Дане нововведення дозволить розробникам ігор створити своїх героїв на основі особистих відео або додати улюблену особистість з YouTube. Рухи будуть реалістичнішими, ніж при створенні анімації вручну.

Джерело: Engadget