Дослідники навчили ШІ автоматично генерувати трейлери до фільмів

Погодьтеся, іноді в кінотеатрі трейлери майбутніх фільмів, які крутять перед сеансом, виявляються цікавішими за черговий сиквел, який ви прийшли подивитися через побачений раніше трейлер. Часто (занадто часто, на думку редакції gg) буває так, що фільм просто не дотягує до наших очікувань, спровокованих якісним трейлером.

Створення таких захопливих трейлерів ціла наука. Щоб змонтувати хороший трейлер навіть до поганого фільму, потрібно бути, щонайменше, непоганим психологом. Поправка: потрібно було бути хорошим психологом.

За словами дослідників з Единбурзького університету, вони розробили модель ШІ на основі пари нейронних мереж, яка здатна видати відповідний, емоційно захоплюючий трейлер до будь-якого фільму. Команда вже використовувала цю систему для створення понад 40 трейлерів до існуючих фільмів, і співробітники Amazon Turk, зазвичай, надавали перевагу генеровані ШІ трейлери офіційним.

Завдання не таке просте, як може здатися. Слово авторам:

Для автоматичного створення трейлерів нам необхідно виконувати низькорівневі завдання, такі як ідентифікація людини, розпізнавання дій та передбачення настрою, а також більш високорівневі завдання, такі як розуміння зв'язків між подіями та їх причинно-наслідкового зв'язку, а також висновки про персонажів та їхні дії.

Дослідники змогли досягти результату, використовуючи дві окремі нейронні мережі. Перша обробляє відео- та аудіоматеріали фільму, щоб знайти цікаві сцени. А друга, по суті, є арбітром того, що цікаво глядачеві. Вона переглядає текстову версію фільму - подібно до сценарію - і використовує обробку природної мови, щоб знайти важливі та емоційні моменти.

Готова модель генерує нові трейлери, використовуючи "розуміння фільму", засноване на тому, як нейронні мережі обробляють вхідні дані.

Джерело: techxplore