Pluribus: ИИ обыгрывает профи в покер — молчание индустрии вызывает опасения

Первый ИИ, побеждающий экспертов в многопользовательской игре

Исследователи разработали первый ИИ под названием Pluribus, который может победить человеческих экспертов в многопользовательской игре. Хотя он специально разработан для самого популярного формата покера, он может победить людей в других многопользовательских играх. ИИ может использоваться в других областях, включая кибербезопасность, предотвращение мошенничества, ценообразование продуктов и маршрутизацию беспилотных автомобилей.

В последнем десятилетии наблюдались большие успехи в искусственном интеллекте (ИИ). Игры вроде Го и Шахмат стали стандартным способом оценки прогресса в ИИ.

До сих пор почти все модели ИИ покоряли двухигровые игры, в которых ходы оппонентов четко видны. Самые популярные формы покера, с другой стороны, включают нескольких игроков и сочетают азарт, стратегию и мастерство.

Теперь исследователи из Facebook и Карнеги-Меллонского университета разработали ИИ-бота, который может перехитрить целый стол покерных профессионалов, используя стратегические настройки. Это первый ИИ-бот — названный Pluribus — который перехитрил и переиграл человеческих экспертов в шестиигровой игре безлимитного Холдема, самом популярном формате покера.

Pluribus сыграл 5000 раздач против покерных экспертов (включая двух победителей Мировой серии) и одержал решительную победу. ИИ смог принять впечатляющие стратегии (такие какдонк-беттинг) и блефовать как опытный профи.

Фактически, он был настолько успешен, что разработчики решили не публиковать его код из страха, что это может разрушить онлайн-покерную индустрию. Алгоритм был настолько силен, что человеческие эксперты не могли найти ничего, чтобы его эксплуатировать.

Это первый случай, когда ИИ побеждает топ-профессионалов в любой эталонной игре с двумя или более игроками. Команда работала над этим проектом годами. В 2017 году они придумали бота, способного играть в один-на-один покер. Pluribus — гораздо более сложная версия того бота.

Pluribus — больше, чем просто грубая вычислительная сила

Ядро игрового плана Pluribus генерируется через самопиль: алгоритм играет против копий себя и постепенно улучшается, определяя, какие действия приводят к лучшим результатам.

Источник: ScienceMag | DOI:10.1126/science.aay2400 | Facebook AI

Такой подход самопиля генерирует стратегию-черновик для всей игры в автономном режиме. Затем во время реальной игры против людей ИИ улучшает стратегию в реальном времени, ища стратегию для похожих ситуаций, в которых он оказывается во время игры.

Стратегия-черновик Pluribus постепенно улучшается во время обучения на 64-ядерном процессоре

ИИ состоит из новых алгоритмов онлайн-поиска для эффективного расчета своих вариантов, исследуя только ограниченный набор следующих ходов вместо всех возможных. Он также включает более быстрые алгоритмы самопиля для игр со скрытой информацией.

Вместе эти алгоритмы позволяют обучать Pluribus на менее мощном компьютере с меньшими ресурсами. Чтобы поставить это в контекст, для обучения Pluribus требуется около 150 долларов облачных вычислительных ресурсов, тогда как другие недавние прорывные модели ИИ требуют миллионов долларов вычислительных ресурсов для обучения.

Алгоритмы, использованные для завоевания покера, могут быть реализованы в других областях, таких как ценообразование продуктов, торговля и маршрутизация беспилотных автомобилей через загруженный трафик. Эти алгоритмы также могут применяться для победы над людьми в других многопользовательских играх и для разработки более интересных компьютерных игр.