ИИ Samsung создаёт реалистичные говорящие аватары из одного фото

ИИ Samsung создаёт реалистичные говорящие аватары из одного фото

• Новая модель ИИ может создавать говорящие аватары из одного изображения.
• Разработчики применили модель к известным картинам, включая Леонардо да Винчи и «Мону Лизу».
• Результаты имеют визуальные артефакты, но гораздо впечатляют больше предыдущих техник.

Программное обеспечение для создания дипфейков (метод синтеза человеческого изображения на основе ИИ) требует больших наборов изображений для построения реалистичной подделки. Недавние достижения нейросетей показали, как можно получить высокореалистичные человеческие изображения, обучая сеть на широких датасетах.

Однако разработчики в исследовательском центре Samsung в Москве теперь создали новую модель ИИ, способную генерировать говорящие аватары из одного изображения. Хотя возможно создание видеоклипа из одного фото, обучение на нескольких картинках даёт лучшее сохранение идентичности и более высокий реализм.

Говорящие головы, созданные этой моделью, могут обрабатывать различные позы, включая те, что выходят за возможности систем на основе варпинга. Можно заметить визуальные артефакты, но результаты гораздо впечатляют по сравнению с предыдущими методами. Модель ведёт к созданию мультимедиа, которые в конечном итоге станут трудно отличимы от реального видео.

Вызовы

Создание реалистичных последовательностей говорящих аватаров сложно по двум основным причинам:

1. Головы людей обладают высокой кинематической, геометрической и фотометрической сложностью. Необходимо точно моделировать волосы, глаза, ротовую полость и многое другое.
2. Острая чувствительность зрительной системы к малейшим ошибкам в моделировании внешности человеческих голов.

Для решения этих проблем новая модель ИИ создаёт три нейросети в процессе обучения. Она строит встраивающую сеть, связывающую кадры ориентиров лица с векторами. Затем — генеративную сеть, отображающую ориентиры в синтезированные клипы. На последнем этапе дискриминативная сеть оценивает позу и реализм кадров.

Источник: arXiv:1905.08233 | YouTube

Для лучшего понимания ориентиров и движений лица исследователи обучали сети на тысячах YouTube-видео говорящих людей. Результаты (говорящие головы) затем сравнивали с альтернативными нейросетями через количественные измерения.

Результаты

Команда применила модель к изображениям многих известных личностей: Мона Лиза, Леонардо да Винчи, Альберт Эйнштейн. ИИ смог создавать говорящие видео из одного изображения, «оживляя» классические портреты. Нужен всего один снимок для создания видео. Однако модель, обученная на 32 фото, достигает лучшей оценки персонализации и идеального реализма.

Такой ИИ может иметь практические применения в телеприсутствии: многопользовательские игры, видеоконференции, индустрия спецэффектов.

Читайте: IBM разрабатывает ИИ, обнаруживающий сцены в видео

С негативной стороны, стремительное развитие таких техник может повысить риски дезинформации, подделки личности, мошенничества и фальсификации выборов.