Новый ИИ Google может создавать видео только с начальным и конечным кадрами

• Новая трехмерная сверточная нейронная сеть может заполнять последовательности между начальным и конечным кадрами.
• Он использует генератор скрытого представления для создания разнообразных видеопоследовательностей.

Последние достижения в области архитектуры искусственных нейронных сетей и генеративных состязательных сетей стимулировали развитие методов синтеза изображений / видео. Большинство существующих исследований сосредоточено на двух операциях:безусловной генерации видео и предсказании видео. Оба они включают создание / прогнозирование новых правдоподобных видеороликов с использованием ограниченного количества прошлых кадров.

Недавно исследовательская группа Google сосредоточилась на проблеме создания разнообразных и правдоподобных видеопоследовательностей, когда доступны только два кадра (начальный и конечный). Процесс, называемый промежуточным звеном, обычно выполняется путем обучения / запуска рекуррентных нейронных сетей с использованием либо закрытых повторяющихся единиц, либо долговременной краткосрочной памяти.

Однако в этом исследовании исследователи показали, что эту проблему (промежуточное звено) можно решить с помощью сверточной трехмерной нейронной сети. Главное преимущество этого метода - простота. Поскольку в нем не используется повторяющийся элемент, более короткие пути градиента могут обеспечить более глубокие сети и более стабильное обучение.

Полностью сверточная модель

В сверточной сети довольно легко обеспечить временную согласованность с начальным и конечным кадрами (предоставляемыми в качестве входных данных). Модель состоит из 3 основных компонентов -

1. Кодировщик двумерных сверточных изображений для сопоставления входных ключевых кадров со скрытым пространством.
2. Генератор трехмерного сверточного скрытого представления для включения данных входных кадров с постепенно увеличивающимся временным разрешением.
3. Видеогенератор для декодирования скрытого представления в видеокадры.

Ссылка:arXiv:1905.10240 | NVIDIA

Команда попыталась создать видео непосредственно из закодированных представлений начального и конечного кадров, но результаты были не на должном уровне. Вот почему они разработали генератор скрытых представлений, который стохастически объединяет представления ключевых кадров и постоянно увеличивает временное разрешение окончательного видео.

Тестирование

Команда протестировала свою модель на различных общедоступных наборах данных, включая распознавание действий UCF101, BAIR и базу данных действий KTH.

Примеры рамок, созданных новой моделью | Предоставлено исследователями

Конечные результаты:каждая выборка в наборе данных содержала в общей сложности 16 кадров, 14 из которых были сгенерированы сверточными нейронными сетями. Модель выполнялась более ста раз для каждой пары ключевых кадров, и весь процесс повторялся 10 раз для каждого варианта модели.

Читайте:Новый ИИ преобразует черно-белые видео в цветные в реальном времени

Во всех случаях модель могла создавать реалистичные видеопоследовательности, учитывая, что ключевые кадры находятся на расстоянии около 1/2 секунды друг от друга. Более того, исследователи показали, что можно создавать множество последовательностей, просто изменяя вектор входного шума, который управляет генеративным процессом. Этот новый метод может предоставить ценную альтернативную перспективу для будущих исследований по созданию видео.