ИИ Google генерирует код, превосходящий человеческих программистов

В мае 2017 года команда Google Brain анонсировала новый подход AutoML. Это контроллерная нейросеть для разработки архитектуры дочерней модели, которую можно обучать для выполнения конкретной задачи. Простыми терминами — ИИ, способный генерировать свой собственный ИИ.

Используемые наборы данных

Google-исследователи тестировали AutoML на небольших академических наборах данных вроде Penn Treebank и CIFAR-10. Позже они решили представить AutoML самый сложный вызов на тот момент. На этот раз протестировали более крупные наборы — COCO для обнаружения объектов и ImageNet для классификации изображений, и результат был поразительным.

Несколько передовой архитектур машинного обучения были разработаны людьми для работы с большими наборами данных в академических соревнованиях. В работе «Learning Transferable Architectures for Scalable Image Recognition» Google-исследователи применили AutoML к двум самым популярным академическим наборам — COCO и ImageNet. Если нативно применить AutoML к этим массивам, потребуется несколько месяцев обучения для получения желаемого результата.

Как это работает?

AutoML построен на алгоритмах обучения с подкреплением и эволюционных алгоритмах. Однако для применения к ImageNet исследователи модифицировали его для большей применимости к крупномасштабным наборам данных:

1. Перепроектировали пространство поиска для нахождения лучшего слоя, который можно гибко стопку многократно для построения финальной сети.
2. Поиск архитектуры выполняется на CIFAR-10, а лучшая выученная архитектура переносится на COCO и ImageNet.

После этих изменений AutoML нашел лучшие слои не только для CIFAR-10, но и для COCO и ImageNet. Эти 2 слоя объединены в новую архитектуру — NASNet.

Как показано на рисунке, архитектура NASNet (разработанная AutoML) содержит 2 типа слоев — Normal layer и Reduction layer.

Источник: Google Research Blog

Результаты

NASNet достиг 82,7 % точности предсказания на классификации изображений ImageNet — значительно лучше предыдущих inception-моделей команды Google Brain. Также превзошел предыдущие опубликованные и неопубликованные результаты на 1,2 %.

NASNet можно масштабировать для генерации набора моделей, достигающих достойной точности при низких вычислительных затратах. Например, малая версия NASNet дает точность 74 % (при сокращении вычислительных затрат вдвое), что на 3 % лучше нескольких передовой моделей того же размера для мобильных платформ.

Как видно на рисунках, точность NASNet выше человеческих моделей при множестве размеров, с разным числом (в миллионах) операций и параметров для классификации ImageNet.

Таблица показывает производительность поиска архитектуры и других человеческих моделей на классификации ImageNet. Mult-Adds — число составных операций умножения-накопления на одно изображение.

Обнаружение объектов с Faster-RCNN и NASNet

Google-исследователи перенесли признаки, выученные на ImageNet, на обнаружение объектов COCO. В тестах интеграция выученных признаков ImageNet с фреймворком Faster RCNN перекрыла предыдущую предиктивную производительность на COCO. Крупнейшая модель достигла 43,1 % mAP, что на ~4 % лучше прошлых результатов state-of-the-art моделей.

Источник: arxiv.org

Исходный код NASNet для инференса в классификации изображений и обнаружении объектов доступен на GitHub.

Что дальше?

Признаки, выученные NASNet на COCO и ImageNet, могут быть переиспользованы для множества задач компьютерного зрения. Более того, этот подход может научить нас, почему определенные типы нейросетей работают так хорошо.

AutoML может открыть область машинного обучения для неэкспертов и использоваться для разработки сложных ИИ-машин/роботов. По исследованию, ИИ такого уровня может помочь слабовидящим вернуть зрение.

Очевидно, архитектура применима в беспилотных автомобилях. Можно представить систему, помогающую идентифицировать трафик, дорожные опасности и пешеходов. Также может использоваться в дополненной реальности для лучшего взаимодействия приложений с окружением. Но, пожалуй, самые интригующие применения этого ИИ еще предстоит открыть.

Читайте также: 15 продвинутых проектов искусственного интеллекта

В будущем команда Google Research будет работать над анализом и тестированием таких компьютерно-генерируемых архитектур для их уточнения и лучшего понимания. Если у них получится, они вдохновят совершенно новый тип нейросетей, который окажет большее влияние на всех.