Новый ИИ может преобразовывать неподвижные изображения в 3D-анимацию

• Новый метод глубокого обучения использует сверточные нейронные сети для анимации персонажа в 3D из одного неподвижного изображения.
• Он может заставить персонажа на изображении выходить, сидеть, бегать или прыгать в 3D.
• Всю анимацию можно просматривать в интерактивном режиме на мониторах и устройствах VR / AR.

В последние годы общая анимация из видео привела к появлению множества творческих эффектов. Анимация из одного изображения, а не из видео или серии фотографий, также дает потрясающие эффекты.

Модель Skinned Multi-Person Linear (SMPL) и фреймворки глубокого обучения оказались чрезвычайно полезными для трехмерной оценки позы и формы на основе одного изображения. До сих пор большинство техник анимации людей с одним изображением были сосредоточены в основном на 2D- или псевдо-3D-анимации.

Недавно исследовательская группа из Вашингтонского университета и Facebook разработала новую технику, с помощью которой можно преобразовывать неподвижные картины и изображения в 3D-анимацию. Этот метод глубокого обучения под названием «Пробуждение по фото» использует сверточную нейронную сеть (CNN) для анимации персонажа в 3D из одного неподвижного изображения.

Оживление персонажа переднего плана

В отличие от синемаграфов, в которых для создания видео используются неподвижные изображения, движущиеся в определенном порядке, новая система принимает в качестве входных данных одно изображение и обеспечивает полное трехмерное восприятие. Он может заставить персонажа на изображении выходить, сидеть, бегать или прыгать в 3D, а всю анимацию можно просматривать в интерактивном режиме на мониторах и устройствах VR / AR.

Теперь вам должно быть интересно, как работает этот новый метод. Что ж, это включает в себя 5 шагов:

1. Совместите изображение с изменяемой моделью тела.
2. Оцените карту меток тела
3. Построить сетку шаг за шагом, руководствуясь изменяемой моделью.
4. Создайте сетку и оцените вес скиннинга.
5. Наконец, восстановите текстуры и поместите их на пустое фоновое изображение.

CNN полагается на предварительно обученную модель SMPL и работает на графических процессорах NVIDIA TITAN. Он работает с широким спектром фронтальных изображений, от плакатов и иллюстраций до спортивных фотографий. Пользователи могут даже редактировать человека на фотографии, просматривать реконструированное тело в 3D и исследовать его на устройствах дополненной реальности. Например, пользователи могут повесить произведение искусства на стену и пройтись по анимации во время ее воспроизведения.

Читать:arXiv:1812.02246 | Вашингтонский университет

Команда продемонстрировала алгоритм на изображениях мультипликационных персонажей, граффити, Стивена Карри (игрок НБА) и картин Пикассо. На данный момент они протестировали нейронную сеть на более чем 70 изображениях, загруженных из Интернета.

Сравнение и ограничения

Исследователи сравнили свой алгоритм с другими современными методами и оценили результаты с исследованиями на людях. Результаты, полученные с помощью Photo Wake-Up, выглядели намного менее искаженными и более реалистичными в неподвижных кадрах, чем другие методы. Кроме того, эти результаты обеспечивают реальный трехмерный опыт, который был невозможен с использованием традиционных методов.

Читайте:Новый искусственный интеллект может превратить любого в профессионального танцора

Алгоритм еще далек от совершенства, и есть еще много возможностей для улучшений. Например, еще не смоделированы отражения и тени, и иногда получается неправильная трехмерная поза, из-за которой вся форма тела выглядит нереалистичной. Кроме того, необходимо улучшить некоторые окклюзии, например скрещенные ноги в сидячем положении.