ИИ превращает любителей танца в профессионалов через глубокое обучение переноса движений

• Прорывная система глубокого обучения может реплицировать хореографию топовых танцоров на любом видео.
• Требуется только обычное видео — никаких дорогих 3D-ригов или костюмов мошн-капчура — для студийного качества результата.

Искусственный интеллект переформировывает индустрии от потребительской электроники до космоса, и эта последняя инновация демонстрирует его трансформативную силу в искусствах. Исследователи Калифорнийского университета разработали алгоритм переноса движений, отображающий движения исходного танцора на целевого исполнителя, заставляя даже случайного участника выглядеть как опытная балерина или поп-икона.

Основная идея проста: «Делай как я». В течение нескольких минут система может наложить профессиональные танцевальные движения на целевого субъекта, открывая новые творческие возможности для исполнителей, педагогов и контент-креаторов.

Как работает технология

Процесс начинается с извлечения скелетных поз на основе ключевых точек из исходного и целевого видео. Эти скелеты-фигуры дают лёгкое, независимое от внешности представление позиции тела, позволяя модели фокусироваться исключительно на движении.

Поза каждого кадра генерируется контролируемым алгоритмом оценки позы, производя точные фигурки. Модель переноса движений затем принимает эти скелеты, генерируя целевые изображения, имитирующие позу источника с сохранением внешности цели. Финальный выход уточняется fusión модуля переноса позы с генеративной уточняющей сетью, доставляя более чёткие, реалистичные кадры.

Рабочий процесс делится на три этапа:

1. Детекция позы — извлечение 2D ключевых точек из обоих видео.
2. Глобальная нормализация позы — выравнивание скелетов между субъектами.
3. Маппинг позы — синтез целевых кадров, соответствующих позе источника.

Для обеспечения временной плавности алгоритм смешивает позу текущего кадра с ранее сгенерированным, драматически снижая дрожание. Для низкофреймовых входов применяется медианный фильтр; для высокофреймовых (до 120 fps) — гауссово сглаживание ключевых точек.

Высокое качество достигается интеграцией Conditional GAN (cGAN), обученных на более 20 минутах высокофреймовых любительских танцевальных кадров на субъекта. Архитектура pix2pixHD, разработанная NVIDIA, служит основой для пайплайна перевода изображений.

Ссылка: arXiv:1808.07371

Обучение и инференс выполнялись на NVIDIA GeForce GTX 1080 Ti и TITAN Xp GPU с PyTorch и CUDA ускорением.

Будущие направления

Алгоритм сейчас поддерживает перенос движений через широкий спектр субъектов без специализированного железа. Однако иногда остаётся дрожание, особенно когда скорость движения источника выходит за диапазон, видимый во время обучения. Текущие исследования фокусируются на оптимизациях методов оценки позы и расширении репертуара движений для снижения этих артефактов.

Для связанных прорывов см.: NVIDIA ИИ конвертирует 30fps видео в 240fps