Photo Wake-Up: ИИ оживляет статичные фото в интерактивную 3D-анимацию
От 2D к полноценному 3D из одного кадра
Команда Уاشингтонского университета и Facebook представила метод «Photo Wake-Up»: CNN оживляет персонажа на фото — он выходит из кадра, садится, бежит, прыгает. Анимация просматривается на мониторах и в VR/AR.
Пайплайн из 5 этапов
- Подбор морфируемой модели тела (SMPL) под изображение.
- Оценка карты меток тела (body label map).
- Пошаговая конструкция меша под руководством модели.
- Риггинг меша и оценка весов скиннинга.
- Восстановление текстур и наложение на чистый фон.
Возможности и ограничения
- Работает на фронтальных фото: постеры, искусство, спорт, картины Пикассо, Стивен Карри. Протестировано >70 изображений из интернета.
- Редактирование позы в 3D, просмотр в AR (поставить картину на стену, обойти анимацию).
- Меньше искажений и реалистичнее, чем у конкурентов (по людским оценкам).
- Проблемы: нет теней/отражений, иногда неверная 3D-поза, артефакты при скрещенных ногах и окклюзиях.
Источник: arXiv:1812.02246 | University of Washington
Промышленные технологии
- Новая белая книга OMP: использование данных для принятия решений в современном производстве
- Wittmann Battenfeld расширяет операции новым объектом 9000 кв. футов в Виньеде, Бразилия
- ИИ-инструмент определяет точность и политическую предвзятость источников новостей
- Универсальный модулятор света: прорывная лазерная архитектура для точного управления материей
- Лазерная система обеспечивает мониторинг радиационного повреждения материалов в реальном времени
- Революционный смартфон-алгоритм обеспечивает точную диагностику заболеваний
- Гибкий ректенна из MoS₂ превращает Wi-Fi в электричество для малых устройств
- ИИ предсказывает движения пешеходов до 45 м для безопасных автопилотов
- NILM: ИИ-мониторинг нагрузки находит электромеханические дефекты до отказа
- Google представляет ИИ, генерирующий полные видео из начального и конечного кадров