Искусственный интеллект превращает танцоров-любителей в профессионалов с помощью глубокого обучения передаче движений

• Революционная система глубокого обучения позволяет воспроизводить хореографию ведущих звезд танца на любых видеоматериалах.
• Для получения результатов студийного качества требуется только обычный видеовход — не требуется дорогостоящее 3D-оборудование или костюмы для захвата движения.

Искусственный интеллект меняет отрасли промышленности — от бытовой электроники до освоения космоса, и эта последняя инновация демонстрирует свою преобразующую силу в искусстве. Исследователи из Калифорнийского университета разработали алгоритм передачи движений, который отображает движения исходного танцора на целевого исполнителя, благодаря чему даже случайный участник выглядит как опытная балерина или поп-икона.

Основная идея проста:«Делай, как я». За считанные минуты система может наложить профессиональные танцевальные движения на целевой объект, открывая новые творческие возможности для исполнителей, преподавателей и создателей контента.

Как работает технология

Процесс начинается с извлечения скелетов поз на основе ключевых точек как из исходного, так и из целевого видео. Эти фигурки-позы обеспечивают легкое, независимое от внешнего вида представление положения тела, позволяя модели сосредоточиться исключительно на движении.

Поза каждого кадра генерируется контролируемым алгоритмом оценки позы, создавая точные фигурки. Затем модель передачи движения поглощает эти скелеты, генерируя целевые изображения, которые имитируют позу источника, сохраняя при этом внешний вид цели. Конечный результат уточняется путем объединения модуля передачи позы с генеративной сетью уточнения, что позволяет получить более четкие и реалистичные кадры.

Рабочий процесс разделен на три этапа:

1. Обнаружение позы:извлекайте ключевые 2D-точки как из исходного, так и из целевого материала.
2. Глобальная нормализация позы:выравнивание скелетов по объектам.
3. Сопоставление позы:синтезируйте целевые кадры, соответствующие исходной позе.

Чтобы обеспечить временную плавность, алгоритм смешивает позу текущего кадра с ранее сгенерированным кадром, значительно уменьшая дрожание. Для входных данных с низкой частотой кадров применяется медианный фильтр; для видео с высокой частотой кадров (до 120 кадров в секунду) используется сглаживание ключевых точек по Гауссу.

Результаты высокой точности достигаются за счет интеграции условно-генеративно-состязательных сетей (cGAN), обученных на более чем 20 минутах любительских танцевальных кадров с высокой частотой кадров для каждого субъекта. Архитектура pix2pixHD, разработанная NVIDIA, служит основой конвейера перевода изображений.

Ссылка:arXiv:1808.07371

Обучение и вывод выполнялись на графических процессорах NVIDIA GeForce GTX1080Ti и TITANXp с использованием PyTorch с ускорением CUDA.

Будущие направления

В настоящее время алгоритм поддерживает передачу движения по широкому кругу объектов без необходимости использования специального оборудования. Однако периодическое дрожание сохраняется, особенно когда скорость движения источника превышает диапазон, наблюдаемый во время тренировки. Текущие исследования направлены на оптимизацию методов оценки позы и расширение набора движений для устранения этих артефактов.

О соответствующих достижениях см.:NVIDIA AI может конвертировать видео с частотой 30 кадров в секунду в 240 кадров в секунду

Акустическая печать:звуковые волны создают точные капли из любой жидкости Новая роговица, напечатанная на 3D-принтере биочернилами, может сократить нехватку доноров – изготовление за 1…