NVIDIA разрабатывает ИИ, который создает интерактивную графику из реального мира

• Исследователи демонстрируют новый тип синтеза видео в видео.
• Он позволяет разработчикам визуализировать полностью интерактивную трехмерную среду из реальных видеороликов.
• Он может создавать 30-секундные видеоролики с разрешением 2K.

Почти два десятилетия назад NVIDIA представила первый в мире графический процессор, сделав существенный скачок в производительности в 3D-играх. Теперь они представили инструмент искусственного интеллекта, который позволяет разработчикам визуализировать полностью синтетические интерактивные трехмерные среды из реальных видео.

Способность моделировать и воссоздавать динамику реального мира имеет решающее значение для разработки интеллектуальных агентов. Синтез непрерывного визуального опыта имеет множество приложений в компьютерной графике и робототехнике. Это может помочь разработчикам создавать реалистичные сцены без указания освещения, материалов и геометрии сцены.

В этой работе исследователи продемонстрировали новый тип синтеза видео в видео. Цель состоит в том, чтобы изучить функцию отображения, которая может эффективно преобразовывать входное видео в выходное видео. Они синтезировали видео высокого разрешения, согласованные во времени, с использованием генераторов и дискриминаторов, а также пространственно-временного состязательного обучения.

Использование нейронных сетей для визуализации высокоуровневых описаний

Чтобы визуализировать синтетический трехмерный мир в реальном времени, они начали с условной генеративной нейронной сети и обучили ее на существующих видео. Сети постепенно научились отображать такие объекты, как автомобили, здания и деревья.

При существующей технологии разработчикам необходимо моделировать каждый объект индивидуально, что является трудоемким и дорогостоящим процессом. С другой стороны, новый инструмент основан на модели, которая автоматически учится на реальном видео и создает виртуальные миры для автомобилей, игр, робототехники, архитектуры и виртуальной реальности.

Ссылка:arXiv:1808.06601 | NVIDIA | GitHub

Он может создавать интерактивные среды, основанные на реальных местах, или может отображать людей, танцующих, как их любимые рок-звезды. Сеть работает с высокоуровневыми описаниями трехмерной сцены, такими как карты границ, описывающие расположение объектов, а также их общие атрибуты, например, состоит ли определенная часть изображения из здания или автомобиля. Затем он использует сцены из реального мира, чтобы заполнить детали.

Нейронные сети обучались на видео реальных городских территорий. Исследователи создали демонстрацию, которая позволяет людям перемещаться по виртуальному городскому миру, созданному сетями. Поскольку сцены создаются синтетически, их легко редактировать, добавлять или изменять объекты в виртуальной сцене.

Предоставлено исследователями

Демонстрация работает на графических процессорах NVIDIA Tensor Core и, согласно отчету, предлагает совершенно новый опыт интерактивной графики. Нейронные сети обучаются на DGX-1 вместе с библиотекой CUDA Deep Neural Network с использованием графических процессоров NVIDIA Tesla V100. Команда выбрала несколько тысяч клипов из наборов данных Cityscapes и Apolloscapes для обучения сетей.

Тестирование

Они провели несколько тестов и получили как количественные, так и качественные результаты, которые показывают, что синтезированные сцены выглядят более реалистично, чем сцены, созданные с помощью существующих современных методов.

Этот новый ИИ может создавать 30-секундные видеоролики с разрешением 2K. Кроме того, он обеспечивает высокоуровневый контроль над выводом. Например, он может легко добавлять или заменять деревья зданиями на сцене.

Подход не идеален и не работает в нескольких сценариях, таких как рендеринг поворачивающего транспортного средства из-за недостатка картографических данных. Однако это можно исправить, добавив трехмерные подсказки, такие как карты глубины.

Прочтите:Google AI может отслеживать объекты, раскрашивая видео

Хотя исследование находится на начальной стадии, применение этого метода может значительно упростить и удешевить разработку виртуального окружения для различных областей.