DeepCubeA: ИИ решает кубик Рубика за секунды без предварительных знаний

Новый подход глубокого обучения с подкреплением решает кубик Рубика мгновенно

Новый подход глубокого обучения с подкреплением под названием DeepCubeA может решить кубик Рубика за несколько секунд. Модель глубокого обучения может быть применена к различным другим областям, включая робототехнику и естественные науки.

Искусственный интеллект (ИИ) уже доказал успех в шахматах и Го, но более сложные головоломки, как кубик Рубика, не решались машинным интеллектом. Это классическая комбинаторная головоломка, которая ставит уникальные и интригующие вызовы для машинного обучения.

Хотя методы машинного обучения ранее использовались для решения кубика Рубика, они не смогли эффективно и надежно решить головоломку. Кроме того, эти методы должны были опираться на специфические знания предметной области.

Теперь исследователи Калифорнийского университета в Ирвайне создали подход глубокого обучения с подкреплением под названием DeepCubeA, который может решить невероятно сложную головоломку без каких-либо специфических знаний предметной области. Он может решить кубик Рубика за несколько секунд без внутриигрового коучинга от людей.

По мере увеличения измерений сложность базовой комбинаторной головоломки резко возрастает. Нахождение оптимального решения для 15-головоломки, например, занимает долю секунды на обычном компьютере, тогда как нахождение оптимального решения для 24-головоломки может занять дни на той же машине.

В этом исследовании исследователи пытались разработать модель машинного обучения, которая может научиться решать множество головоломок, не полагаясь на человеческие знания предметной области. Они объединили три передовых подхода для разработки DeepCubeA:

1. Глубокое обучение
2. Классическое подкрепление (приближенная итерация значений)
3. Методы поиска пути (взвешенный поиск A*)

Он состоит из алгоритма глубокого обучения с подкреплением, который использует функцию политики и значения, комбинированную с деревом поиска Монте-Карло для решения кубика Рубика.

Исследователи использовали фреймворк глубокого обучения TensorFlow для обучения сети — она обучалась на примерно 10 миллиардах симуляций перемешанного и собранного головоломки. Весь процесс проводился около 1 000 000 итераций, что заняло 36 часов.

Источник: Nature | DOI:10.1038/s42256-019-0070-z | UCI | Online Demo

После обучения DeepCubeA смог достичь 100% точности при каждой тестовой конфигурации, находя кратчайший путь к конечному состоянию в 60,3% случаев.

DeepCubeA использует эвристическую функцию, которая никогда не переоценивает стоимость кратчайшего пути. Взвешенный поиск A* имеет определенные границы на том, насколько длина решения может отличаться от длины оптимального решения.

Применения за пределами комбинаторных головоломок

Исследовательская команда также обучала DeepCubeA на других головоломках, включая 24-головоломку, Lights Out и Sokoban. Она смогла найти кратчайший путь в большинстве проверяемых случаев.

Конечная цель таких исследований — разработать модели глубокого обучения следующего поколения, которые могут быть применены в областях за пределами комбинаторных головоломок, от робототехники до естественных наук.

Мы уже взаимодействуем с ИИ ежедневно через поисковые системы и приложения, такие как Alexa и Siri. Однако эти системы не действительно интеллектуальны: их легко манипулировать или обмануть.

Нам нужно строить ИИ, который более надежен, умен и способен понимать, рассуждать и планировать. Это исследование — маленький шаг к этой масштабной цели.