AlphaZero: ИИ Google освоил шахматы и Го за 24 часа

Настольные игры (как шахматы) — широко изучаемая область в истории ИИ. Пионеры вроде Тьюринга, Бэббиджа, фон Неймана и Шеннона разрабатывали теории, алгоритмы и оборудование для анализа и игры в шахматы. За последние годы мы видели подобные программы, превосходящие людей в более сложных играх — Го и Сёги (японские шахматы).

DeepMind Google имеет феноменальный трек-рекорд в победе над людьми в настольных играх. В 2015 году их проект AlphaGo стал первой компьютерной программой Го, победившей профессионального игрока. Теперь они разработали программу AlphaGo, которая может сама выучить шахматы и обыграть человека или любую другую программу (включая Stockfish и Deep Blue) за почти 4 часа.

Конвенционные ИИ-программы (для настольных игр) сильно оптимизированы под свою область и не могут быть обобщены на другие задачи без человеческого вмешательства. Программа AlphaZero, с другой стороны, достигает сверхчеловеческой производительности в нескольких сложных доменах. Без предварительных знаний, кроме правил игры, и начиная с случайной игры, AlphaZero достиг сверхчеловеческого уровня за 24 часа в шахматах, сёги и Го, победив лучшие мировые программы в каждом случае. Как они это сделали и какие точные результаты? Узнаем.

Методология

В октябре 2017 года DeepMind анонсировал, что их алгоритм AlphaGo Zero достиг сверхчеловеческой производительности, используя глубокую сверточную нейросеть и обучение только через обучение с подкреплением. Инженеры использовали тот же подход для создания универсального алгоритма AlphaZero, который заменяет доменно-специфические дополнения и рукотворные знания, используемые в обычных игровых алгоритмах, на глубокие нейронные сети и алгоритм обучения с подкреплением tabula rasa.

AlphaZero использует универсальный алгоритм MCTS (Monte-Carlo Tree Search — поиск по дереву Монте-Карло) вместо альфа-бета поиска. Он учит оценки ценности и вероятности ходов, играя сам с собой, а затем использует выученную информацию для направления своего поиска.

Отличия от алгоритма AlphaGo Zero

Алгоритм AlphaGo Zero оценивает и оптимизирует вероятность победы, учитывая бинарные исходы — победу или поражение. AlphaZero оценивает и оптимизирует ожидаемый исход, учитывая ничьи и другие потенциальные результаты.

Правила Го инвариантны к отражению и вращению. Этот факт хорошо используется в AlphaGo и AlphaGo Zero двумя способами:

• Увеличение обучающих данных путем создания 8 симметрий для каждой позиции.
• Трансформация позиции через случайное отражение или вращение перед вычислением нейросетью в MCTS, чтобы вычисление усреднялось по разным смещениям.

В случае шахмат и сёги правила асимметричны, и нельзя предполагать симметрии в общем. В AlphaZero обучающие данные не дополняются, а позиция доски не трансформируется во время MCTS.

AlphaGo Zero использует лучшего игрока из предыдущих итераций для генерации самовоспроизводящихся игр. После завершения каждой итерации производительность нового игрока оценивается против лучшего. Если выигрыш с запасом 55 %, лучший игрок заменяется, и самовоспроизводящиеся игры генерируются новым игроком. Однако AlphaZero поддерживает единственную нейросеть (непрерывно обновляемую) вместо паузы до завершения итерации.

Оптимизация и обучение AlphaZero

AlphaZero использует гиперпараметры для всех игр без игровой специфической оптимизации. Для обеспечения исследования интегрирован шумовой фактор, пропорционально масштабируемый к числу легальных ходов для данного типа игры.

Как и в AlphaGo Zero, состояние доски кодируется пространственными плоскостями, а действия — пространственными плоскостями или плоским вектором, основанным на базовых правилах каждой игры.

Разработчики применили AlphaZero к шахматам, сёги и Го. Одна и та же архитектура сети, гиперпараметры и настройки использовались для всех 3 игр. Отдельный экземпляр алгоритма обучался для каждой игры. Начиная с случайно инициализированных параметров, обучение проводилось 700 000 шагов, используя 5000 тензорных процессоров (TPU) первого поколения для генерации самовоспроизводящихся игр и 64 TPU второго поколения для обучения нейросетей.

Источник: arxiv.org

Результаты

Как видно на рисунке, AlphaZero превзошел Stockfish после 300 000 шагов (через 4 часа) в шахматах; превзошел Elmo за 110 000 шагов (в течение 2 часов); и превзошел AlphaGo Lee за 165 000 шагов (после 8 часов).

Полностью обученные экземпляры (обученные 3 дня) AlphaZero тестировались против AlphaGo Zero, Elmo и Stockfish, играя 100 матчей при контроле времени 1 минута на ход. Результаты были впечатляющими (указаны в таблице ниже).

AlphaGo Zero и AlphaZero использовали одну машину с 4 TPU, Elmo и Stockfish работали на 64 потоках и 1 ГБ хеша. AlphaZero победил всех, проиграв 8 партий Elmo и ни одной Stockfish.

Google-разработчики также изучили производительность MCTS-поиска в AlphaZero. Он просматривает 40 000 позиций в секунду в сёги и 80 000 в шахматах, по сравнению с 35 000 000 для Elmo и 70 000 000 для Stockfish. AlphaZero использует свою глубокую нейросеть для более селективного фокуса на самых перспективных вариантах — более человекообразном подходе.

Читайте также: 15 лучших шахматных движков по рейтингам

Пока AlphaZero еще в зачаточном состоянии, это важный шаг к цели. Если подобные подходы можно применить к другим структурированным проблемам — сворачиванию белков, открытию новых материалов или снижению энергопотребления — результаты могут позитивно повлиять на наше будущее.