Microsoft представляет AttnGAN: ИИ, превращающий текстовые описания в фотореалистичные изображения

• AttnGAN от Microsoft генерирует высококачественные изображения из простого текста и подписей.
• Система использует двухмодельную архитектуру: генератор создаёт изображение, дискриминатор оценивает его реалистичность.
• Она добавляет контекстуально релевантные детали за пределами промпта, демонстрируя внутренний слой «воображения».
• Потенциальные будущие применения включают полностью автоматизированное производство анимации по сценариям.

Пока предыдущие усилия улучшали текст-в-образ синтез, AttnGAN Microsoft продвигает область, генерируя фотореалистичные изображения из кратких текстовых промптов, используя обширную библиотеку размеченных изображений.

Разработанная в Microsoft Research, AttnGAN парсит отдельные слова в промпте для направления построения изображения. По словам команды, подход даёт примерно в три раза более высокое качество изображения, чем предыдущие state-of-the-art модели.

Творческий процесс бота

Представьте, вас просят нарисовать синюю птицу с красными крыльями и коротким клювом. Вы начнёте с грубого контура, потом зальёте цвета и детали. AttnGAN следует той же логике, анализируя каждое слово для построения детального, согласованного изображения.

Бот может рендерить любой предмет — от гаджетов до дикой природы — и часто добавляет контекстуально подходящие фоновые элементы, не упомянутые явно, демонстрируя способность к «воображаемым» деталям.

Изображения синтезируются пиксель за пикселем с нуля, позволяя модели создавать сцены, которых не существует в реальности. Эта генеративная задача 본질но сложнее, чем просто разметка существующего фото.

Как AttnGAN генерирует изображения

1. Генератор: Создаёт изображения на основе текстового описания.
2. Дискриминатор: Оценивает аутентичность сгенерированного изображения против описания.

Обе модели обучаются совместно, позволяя генератору учиться на обратной связи дискриминатора и достигать прогрессивно более высокой верности.

Обучение включало тысячи парных датасетов фото-подписи, учащие AttnGAN маппить конкретные слова в визуальные паттерны. Например, слово «слон» триггерит модель производить изображение, соответствующее типичному виду слона.

Система разбивает сложные предложения на отдельные слова, выравнивая каждое слово с областью изображения. Во время обучения она также учит «искусственный здравый смысл» для заполнения пропущенных деталей, обеспечивая реалистичную композицию.

В этом примере промпт упомянул только птицу. AttnGAN интеллектуально разместила птицу на ветке — общее реальное контекстуальное знание, выученное из обучающих данных. Это демонстрирует способность модели применять контекстуальные знания.

arXiv:1711.10485 — исследовательская статья Microsoft с деталями AttnGAN.

Когда модели задали изобразить двухэтажный автобус, плавающий на озере, она произвела размытую но узнаваемо смешанную сцену, подчёркивая её борьбу с примириением конфликтующих элементов в промпте.

Производительность и случаи использования

AttnGAN превосходит предыдущие бенчмарки, достигая 170,25% улучшения по inception score на датасете COCO и 14,14% прироста на датасете CUB.

Потенциальные применения включают ассистентов-эскизчиков для интерьерных дизайнеров, голосовую уточняющую фотографию и, с дальнейшей разработкой, полностью автоматизированное производство анимации из сценариев.

Другие ИИ-генераторы искусства

Microsoft не единственная в слиянии искусства и ИИ. Google DeepDream создал психоделические изображения, показанные в 2016, в то время как её ИИ производил музыку и речевой синтез вроде Tacotron 2. Facebook и Nvidia также выпустили генеративные модели для авто, кораблей, животных и даже синтетических селебрити-аватаров.

Прочитать о гугловском человеко-подобном голосовом ИИ Tacotron 2.