Google представляет ИИ, генерирующий полные видео из начального и конечного кадров

3D-сверточная нейросеть заполняет последовательности между первым и последним кадром

Она использует генератор латентных представлений для создания множества видеопоследовательностей.

Недавние достижения в архитектурах искусственных нейронных сетей и генеративных враждебных сетях стимулировали развитие методов синтеза изображений/видео. Большинство существующих исследований фокусируются на двух операциях: безусловная генерация видео и предсказание видео. Обе они включают генерацию/предсказание новых правдоподобных видео с использованием ограниченного числа прошлых кадров.

Недавно исследовательская команда в Google сосредоточилась на проблеме создания разнообразных и правдоподобных видеопоследовательностей, когда доступны только два кадра (начальный и конечный). Процесс, называемый интерполяцией (inbetweening), обычно выполняется путем обучения/запуска рекуррентных нейронных сетей с использованием либо гейтированных рекуррентных блоков, либо долгой кратковременной памяти.

Однако в этом исследовании исследователи показали, что эта проблема (интерполяция) может быть решена через 3D-сверточную нейронную сеть. Главное преимущество этого метода — простота. Поскольку он не использует рекуррентные элементы, более короткие пути градиентов позволяют создавать более глубокие сети и более стабильное обучение.

Полностью сверточная модель

В сверточной сети довольно легко обеспечить временную согласованность с начальными и конечными кадрами (подаваемыми как входные данные). Модель имеет 3 ключевых компонента:

1. 2D-сверточный кодировщик изображения для отображения входных ключевых кадров в латентное пространство.
2. 3D-сверточный генератор латентного представления для включения данных входных кадров с постепенно увеличивающимся временным разрешением.
3. Генератор видео для декодирования латентного представления в видеокадры.

Источник: arXiv:1905.10240 | NVIDIA

Команда попыталась создать видео непосредственно из закодированных представлений начального и конечного кадров, но результаты не соответствовали ожиданиям. Поэтому они спроектировали генератор латентных представлений, который стохастически объединяет представления ключевых кадров и постепенно увеличивает временное разрешение итогового видео.

Тестирование

Команда протестировала свою модель на различных открытых наборах данных, включая UCF101 Action Recognition, BAIR и KTH Action Database.

Примеры кадров, созданных новой моделью | Источник: исследователи

Итоговые результаты: каждый образец в наборе данных содержал всего 16 кадров, из которых 14 были сгенерированы сверточными нейронными сетями. Модель выполнялась более ста раз для каждой пары ключевых кадров, и весь процесс повторялся 10 раз для каждой вариации модели.

Во всех случаях модель могла создавать реалистичные видеопоследовательности, при условии, что ключевые кадры находятся примерно на 1/2 секунды друг от друга. Более того, исследователи показали, что возможно создание множества последовательностей простым изменением входного вектора шума, управляющего генеративным процессом. Этот новый метод может дать ценную альтернативную перспективу для будущих исследований по созданию видео.