Искусственный интеллект управляет 3D-рендерингом волос в реальном времени с использованием 30 000 прядей

• Исследователи разрабатывают нейронную сеть, которая может создавать полную трехмерную геометрию волос на основе двухмерного изображения. 
• Сеть способна визуализировать до 30 000 прядей волос за миллисекунды.
• Он может плавно выбирать и интерполировать различные прически, в том числе волнистые, вьющиеся и прямые. 

Рендеринг реалистичных волос на машинах, пожалуй, самая сложная задача при оцифровке виртуальных людей. По сравнению с другими объектами, такими как глаза, нос и уши, волосы имеют широкий диапазон вариаций формы и могут быть чрезвычайно сложными из-за уровня деформируемости каждой отдельной пряди и ее объемной структуры.

Это не значит, что существующие системы не могут создать высококачественную 3D-модель волос, но они обычно требуют определенных настроек аппаратного и программного обеспечения, которые нелегко развернуть. Некоторые современные методы используют подходы, основанные на данных, но они неприменимы для приложений реального времени и систем с ограниченным объемом памяти.

Теперь исследователи из Microsoft, Pinscreen и Университета Южной Калифорнии создали модель глубокого обучения, которая может создавать полную трехмерную геометрию волос на основе двухмерных изображений в режиме реального времени.

Вместо того, чтобы синтезировать структуры в виде облаков точек или объемных сеток, он непосредственно создает прядь волос. Этот метод больше подходит для немногообразных структур и может обеспечить более высокую детализацию и точность.

Сеть для волос

Нейронная сеть, которую они называют HairNet, способна непрерывно создавать и представлять трехмерную геометрию волос. Он может плавно выбирать и интерполировать различные прически, включая волнистые, вьющиеся и прямые.

Конвейер нейронной сети состоит из трех этапов:предварительная обработка, генерация пряди волос и реконструкция.

HairNet содержит сверточный кодер для извлечения характеристик волос высокого уровня (в форме вектора) из 2D-изображения и деконволюционный декодер для генерации 32*32 характеристик прядей, равномерно распределенных по коже головы. Эти особенности прядей затем интерполируются в пространстве скальпа, которое в конечном итоге представляется в виде серии трехмерных точек.

Сетевая архитектура | С разрешения исследователей 

Чтобы приблизить визуализированные прически к более правдоподобному пространству, исследователи ввели «потери при реконструкции» и «потери при столкновении» между моделью тела и прядями волос. Они использовали входное изображение в качестве веса для модуляции его потерь, что еще больше повысило точность.

Обучение

Исследователи обучили нейронную сеть на большом наборе данных, содержащем 40 000 причесок и 160 000 двумерных изображений со случайных точек зрения. Затем сеть научилась восстанавливать 3D-волосы разных стилей, цветов и длин по одной 2D-фотографии.

Рендеринг волос из 2D-изображения с помощью HairNet | С разрешения исследователей 

ИИ был обучен на графических процессорах Nvidia Titan Xp с платформой PyTorch на базе библиотеки глубоких нейронных сетей CUDA.

Ссылка: arXiv:1806.07467

Он может визуализировать до 30 000 прядей волос за миллисекунды. Более того, он может имитировать видео и визуализировать каждую нить — и все это взаимодействует друг с другом.

Дальнейшая работа

Команда пришла к выводу, что их техника еще не идеальна. Он не подходит для экзотических причесок, таких как афро, курчавые или стрижки «пик». Однако обучение сети на массивных наборах данных, содержащих больше вариантов, может решить эту проблему.

Читайте:ИИ может поставить кого угодно в любую позу | Синтезирование изображений людей в невидимых позах

Этот метод также не работает, когда волосы на данном изображении слегка перекрыты. Поэтому в будущем они планируют улучшить наборы обучающих данных за счет включения большего количества случайных перекрытий.