ИИ теперь может составлять реалистичные, разнообразные танцевальные движения

• Исследователи тренируют модель глубокого обучения для создания новых реалистичных, разнообразных и согласованных по стилю танцевальных шагов.
• Это может помочь и расширить возможности создания контента в нескольких областях, таких как художественная гимнастика и театральные представления.

По мере того как ученые постепенно приближают компьютеры к человеческому уровню интеллекта, они начали заниматься некоторыми очень человеческими усилиями. Мы, безусловно, достигли точки, когда искусственный интеллект может помочь хореографам смешивать вещи, предлагая тысячи разных стилей.

Недавно исследователи из Калифорнийского университета разработали модель глубокого обучения для создания новых танцевальных шагов, которые будут реалистичными, разнообразными и совместимыми со стилем. Он содержит структуру обучения, основанную на синтезе путем анализа, для создания танца, соответствующего ритму, из музыки.

Создание такой основы для танцев и музыки - сложная задача, но она может помочь и расширить возможности создания контента в нескольких областях, таких как фигурное катание, художественная гимнастика и театральные представления.

Ядро балетмейстера AI

Чтобы синтезировать танец из музыки, исследователи разработали структуру разложения в композицию, которая сначала учит, как двигаться (в фазе разложения), а затем как выстраивать базовые движения в последовательность (в фазе композиции).

На первом этапе они извлекали ритмы движения из танцевальной последовательности с помощью кинематического детектора ударов. Затем каждая танцевальная последовательность временно нормализуется в серию танцевальных единиц. Отдельные танцевальные единицы были распутаны в исходные позы и движения.

Ссылка:arXiv:1911.02001 | GitHub

На втором этапе исследователи предложили модель перехода от музыки к движению, чтобы создать последовательность движений, соответствующую входящей музыке. Во время выполнения они извлекли информацию о ритме и стиле, а затем последовательно создали серию танцевальных единиц в соответствии с музыкальным стилем. Наконец, они исказили танцевальные элементы извлеченными звуковыми ударами.

Для обучения сети команда собрала более 360 000 видеороликов общей продолжительностью 71 час. Эти видео включают три танцевальных категории:хип-хоп, зумба и балет.

Чтобы обрабатывать разные позы, они использовали OpenPose, многопользовательскую систему в реальном времени для совместного обнаружения ключевых точек человеческого тела, лица, рук и ног на отдельных изображениях. А для оценки производительности они использовали разные показатели для проверки согласованности стилей, реализма, разнообразия и соответствия ритмов.

Сопоставление созданных танцев с фотореалистичными видео | Предоставлено исследователями

Исследователи также синтезировали последовательности поз для фотореалистичных видеороликов, чтобы лучше визуализировать результаты. Крупномасштабный парный набор данных о танцах и музыке вместе с исходным кодом доступен на GitHub.

Прочтите:AI может прогнозировать посещаемость аудитории, анализируя трейлер фильма

Генеративная состязательная сеть обучается с использованием инфраструктуры глубокого обучения PyTorch на графических процессорах NVIDIA V100. В ближайшем будущем исследователи добавят больше танцевальных стилей (например, партнерский танец), чтобы сделать систему еще лучше.