NVIDIA представляет ИИ для генерации интерактивных 3D-сред из реальных видео

• Исследователи демонстрируют новый тип видео-в-видео синтеза.
• Он позволяет разработчикам рендерить полностью интерактивные 3D-среды из реальных видео.
• Он может создавать 30-секундные видео 2K разрешения.

Почти два десятилетия назад NVIDIA представила первый в мире GPU, предложив значительный скачок в 3D-игровой производительности. Теперь они представили инструмент искусственного интеллекта, который позволяет разработчикам рендерить полностью синтетические, интерактивные трехмерные среды из реальных видео.

Способность моделировать и воссозранять реальную динамику критична для разработки интеллектуальных агентов. Синтез непрерывных визуальных переживаний имеет множество приложений в компьютерной графике и робототехнике. Это может помочь разработчикам создавать реалистичные сцены без указания освещения, материалов и геометрии сцены.

В этой работе исследователи продемонстрировали новый тип видео-в-видео синтеза. Цель — выучить функцию отображения, которая может эффективно преобразовать входное видео в выходное видео. Они синтезировали высокоразрешающие, временно согласованные видео, используя генераторы и дискриминаторы, а также пространственно-временное противоборственное обучение.

Использование нейронных сетей для рендеринга высокоуровневых описаний

Для рендеринга синтетического трехмерного мира в реальном времени они начали с условной генеративной нейронной сети и обучили ее на существующих видео. Сети постепенно учились рендерить объекты вроде транспортных средств, зданий и деревьев.

С существующей технологией разработчикам нужно моделировать каждый объект индивидуально, что является и затратным по времени, и дорогим процессом. С другой стороны, новый инструмент основан на модели, которая автоматически учится на реальном видео и создает виртуальные миры для автомобильной промышленности, игр, робототехники, архитектуры и виртуальной реальности.

Источник: arXiv:1808.06601 | NVIDIA | GitHub

Он может создавать интерактивные среды на основе реальных локаций или отображать людей, танцующих как их любимые рок-звезды. Сеть работает на высокоуровневых описаниях 3D-сцены, таких как карты границ, описывающие расположение объектов, а также их общие атрибуты, например, состоит ли определенная часть изображения из здания или автомобиля. Затем она использует реальные сцены для заполнения деталей.

Нейронные сети обучались на видео реальных городских районов. Исследователи создали демо, которое позволяет людям навигировать по виртуальному городскому миру, отрендеренному сетями. Поскольку сцены создаются синтетически, легко редактировать, добавлять или модифицировать объекты в виртуальной сцене.

По предоставлению исследователей

Демо работает на GPU NVIDIA Tensor Core и предоставляет совершенно новый опыт интерактивной графики, согласно отчету. Нейронные сети обучались на DGX-1 вместе с библиотекой CUDA Deep Neural Network, используя GPU NVIDIA Tesla V100. Команда выбрала несколько тысяч клипов из наборов данных Cityscapes и Apolloscapes для обучения сетей.

Тестирование

Они провели множественные тесты и получили как количественные, так и качественные результаты, которые показывают, что синтезированные сцены выглядят более реалистично, чем те, что генерируются существующими передовой методов.

Этот новый ИИ может производить 30-секундные видео 2K разрешения. Также он обеспечивает высокоуровневый контроль над выводом. Например, можно легко добавить или заменить деревья зданиями в сцене.

Подход не идеален и терпит неудачу в нескольких сценариях, как рендеринг поворачивающегося транспортного средства из-за нехватки картографических данных. Однако это может быть исправлено интеграцией 3D-подсказок, таких как карты глубины.

Читайте также: Google AI может отслеживать объекты, раскрашивая видео

Хотя исследование находится на ранней стадии, приложения этой техники могут сделать разработку виртуального окружения для множества областей намного легче и дешевле.