ИИ предсказывает посещаемость фильмов, анализируя трейлеры с коллаборативной фильтрацией

• Новая модель машинного обучения предсказывает, какие аудитории с наибольшей вероятностью посмотрят фильм, основываясь на его трейлере.
• Она использует метод коллаборативной фильтрации для извлечения признаков трейлера: лиц, объектов, ландшафтов и т.д.
• Эти признаки затем комбинируются с данными посещаемости и демографией для предсказания аудиторной посещаемости.

Трейлеры — самая важная часть маркетинговой кампании для новых фильмов. Они представляют персонажей, коммуницируют сюжет, раскрывают некоторые намеки о сторилайн и повышают осведомленность среди киноманов.

Для кинематографистов это возможность узнать перспективу аудитории: что им понравилось, а что не впечатлило. Обычно эти детали помогают им планировать следующую стратегию маркетинговой кампании.

Чтобы помочь выбрать лучшие превью для трейлера, инженеры киностудии 20th Century Fox построили метод машинного обучения под названием Merlin Video, который предсказывает, какие аудитории с наибольшей вероятностью посмотрят фильм, основываясь на его трейлере.

Как это работает?

Merlin Video генерирует плотные представления трейлера и использует их для анализа и предсказания поведения аудитории. По словам исследовательской команды, это первый случай, когда киностудия использует низкоуровневое представление трейлеров для измерения интересов аудитории.

Она основана на современной модели коллаборативной фильтрации, которая извлекает признаки вроде освещения, объектов, цветов и лиц, и комбинирует их с данными посещаемости и демографией для точного прогнозирования аудиторной посещаемости для существующих фильмов, а также еще не вышедших фильмов.

Сверточные нейронные сети извлекают по кадровому низкоуровневые признаки. Предварительно обученные сети могут использоваться для обнаружения и анализа признаков в релевантных кадрах трейлера. Подавая соответствующие представления этих признаков в нейронные сети, обученные на исторических записях, можно обнаружить значимые связи между признаками трейлера фильма и будущими предпочтениями аудитории.

Обзор Merlin Video | По материалам исследователей

Ссылка: arXiv:1807.04465

Более конкретно, Merlin Video содержит логистический регрессионный слой, который объединяет дистанционно-базированную модель коллаборативной фильтрации с недавностью пользователя и частотой пользователя для генерации вероятности аудиторной посещаемости. Система обучена end-to-end, и лосс логистической регрессии пропагируется обратно ко всем обучаемым модулям.

В сумме, инженеры сделали три основных вклада в этом исследовании:

1. Рекомендательная модель для киноконкурсов, разработанная специально для обработки cold-start и театральных рекомендаций с использованием содержания трейлера.
2. Они измерили производительность множественных версий Merlin Video и продемонстрировали, как она может использоваться в процедурах принятия решений в реальных сценариях.
3. Они обсудили возможные способы комбинирования видео и текстовых входов для улучшения точности прогнозирования.

Нейронная сеть обучена на сотнях трейлеров, выпущенных за прошедшие годы, и миллионах записей посещаемости. Они использовали GPU NVIDIA Tesla P100 на Google Cloud, с TensorFlow, работающим на CUDA глубокой нейронной сети, для обучения модели.

Читайте также: ИИ Nvidia может конвертировать видео 30fps в 240fps

В будущей работе инженеры сфокусируются на построении модели, использующей и видео, и текстовые признаки для прогнозирования успеха фильма.