ИИ обеспечивает рендеринг 3D-волос в реальном времени с 30 000 прядями

Исследователи разработали нейросеть, которая может создавать полную 3D-геометрию волос из 2D-изображения.

Сеть способна рендерить до 30 000 прядей волос за миллисекунды.

Она может плавно сэмплировать и интерполировать разнообразные прически, включая волнистые, кудрявые и прямые.

HairNet

Нейросеть, которую они назвали HairNet, способна непрерывно создавать и представлять 3D-геометрию волос. Она может плавно сэмплировать и интерполировать разнообразные прически, включая волнистые, кудрявые и прямые.

Конвейер нейросети состоит из 3 этапов: предобработка, генерация прядей волос и реконструкция.

HairNet содержит сверточный энкодер для извлечения высокоуровневых признаков волос (в виде вектора) из 2D-изображения, и деконволюционный декодер для генерации 32×32 признаков прядей, равномерно распределенных на коже головы. Эти признаки прядей затем интерполируются в пространстве кожи головы, что в конечном итоге представляется как серия 3D-точек.

Чтобы сделать рендеринг причесок более правдоподобным, исследователи ввели «потери реконструкции» и «потери коллизий» между моделью тела и прядями волос. Они использовали входное изображение как вес для модуляции потерь, что еще больше улучшило точность.

Обучение

Исследователи обучили нейросеть на большом наборе данных, содержащем 40 000 причесок и 160 000 двумерных изображений со случайных ракурсов. Сеть научилась регенерировать 3D-волосы в разных стилях, цветах и длинах из одного 2D-фото.

ИИ обучался на GPU Nvidia Titan Xp с фреймворком PyTorch на базе библиотеки CUDA для глубоких нейросетей.

Она может рендерить до 30 000 прядей волос за миллисекунды. Более того, она может имитировать видео и рендерить каждую прядь — все взаимодействующие друг с другом.

Дальнейшая работа

Команда заключила, что их техника еще не идеальна. Она не может обрабатывать экзотические прически, такие как афро, жесткие или коротко подстриженные. Однако обучение сети на массивных наборах данных с большим количеством вариаций может решить эту проблему.

Техника также терпит неудачу, когда волосы слегка перекрыты на данном изображении. Поэтому они планируют улучшить обучающие наборы данных в будущем, интегрируя больше случайных перекрытий.