ИИ генерирует реалистичные, разнообразные танцевальные движения — революция в хореографии
Глубокое обучение для хореографии
Исследователи UC разработали модель глубокого обучения, генерирующую новые танцевальные движения: реалистичные, разнообразные, соответствующие стилю музыки. Фреймворк synthesis-by-analysis создает танец, синхронизированный с битом.
Задача music-to-dance сложна, но может помочь в фигурном катании, спортивной гимнастике, театре.
Архитектура: декомпозиция → композиция
- Декомпозиция (как двигаться): извлечение движущихся битов из танцевальной последовательности кинematic beat detector. Последовательность нормализуется в серию танцевальных единиц. Единицы раскладываются на исходные позы и движения.
- Композиция (как упорядочить): модель music-to-movement создает последовательность движений под входную музыку. Извлекаются бит и стиль, затем последовательно генерируются танцевальные единицы по стилю музыки. Финал — варпинг единиц под аудиобиты.
Обучение и оценка
Датасет: >360 000 видеоклипов, 71 час, 3 стиля: Hip-Hop, Zumba, Балет. OpenPose для детекции ключевых точек тела/лица/рук/ног. Метрики: стилевая согласованность, реалистичность, разнообразие, попадание в бит.
Сгенерированные позы преобразованы в фотореалистичные видео для визуализации. Датасет и код на GitHub.
GAN обучался на PyTorch / NVIDIA V100. Планы: добавить парные танцы и другие стили.
Промышленные технологии
- Интеграция Salesforce с G Suite: как мониторить обе для пиковой производительности
- Поднимите Ford GT500: новые карбоновые аксессуары и пакеты производительности
- LSR Select: настраиваемая скорость отверждения, температура и дурометр для современных литейщиков
- ИИ картирует неформальные поселения по спутниковым снимкам низкого разрешения
- Полупроводниковый лазер излучает микроволны и принимает радио: путь к ультрабыстрому Wi-Fi
- Прорыв ИИ: точное предсказание 3D-структур всех белков по их последовательностям
- Новые очки на основе слез предлагают безболезненный мониторинг глюкозы для диабетиков
- Прорыв ИИ: автономная навигация без карт с компасом, камерой и GPS
- Прорыв ИИ: GPU-ускоренный инструмент обнаруживает COVID-19 на снимках рентгена
- Празднуйте производственное мастерство — выберите свой день для Дня производства