Ataraxos обыграл лучшего игрока в Stratego, потратив на обучение 16 GPU

Команда исследователей из Университета Карнеги-Меллона, MIT, Нью-Йоркского университета и Стэнфорда создала ИИ Ataraxos, который обыграл Пима Нимеера — одного из сильнейших игроков в Stratego — со счётом 15:1 при четырёх ничьих. Об этом сообщает Ars Technica со ссылкой на публикацию в Nature. Важность события в том, что Stratego долго оставалась игрой с неполной информацией, которую не удавалось надёжно «взломать» даже DeepMind с её бюджетом.

Почему Stratego оказалась сложной задачей

В Stratego у каждого игрока 40 фигур, обозначающих воинские звания — от маршала до шпиона, — а также бомбы и флаг. Побеждает тот, кто захватит флаг противника. Соперник видит, где стоят фигуры, но не знает, какие именно. Личность фигуры раскрывается только при столкновении: слабая фигура убирается с доски, а победитель показывает своё звание.

Именно это делает Stratego игрой с неполной информацией, как покер. Но если в техасском холдеме, по словам соавтора работы Габриэле Фарины из MIT, скрыты всего две карты и возможно 1 326 комбинаций, то в Stratego 40 фигур могут стоять в любом порядке — это более дециллиона вариантов расстановки. К этому добавляется длительность: партия в шахматах обычно длится около 40 ходов, а в Stratego легко доходит до 2 000.

Ещё один фактор — блеф. Игрок может двигать слабую фигуру как маршала, чтобы отпугнуть соперника. Если блефовать слишком часто, угрозы перестают что-то значить; если никогда — становишься предсказуемым. По словам исследователей, именно этот баланс не давался прежним ИИ, включая DeepNash от DeepMind, представленный в 2022 году.

Как устроен Ataraxos

Как и DeepNash, Ataraxos учился на игре против самого себя — всего 163 миллиона партий. Ходы, приводившие к победе, закреплялись и чаще повторялись в следующих матчах, а проигрышные игрались реже. Отличие в том, насколько сильно модель корректировала стратегию после каждой партии: скрытая информация склонна «закручивать» алгоритмы самообучения, поэтому команда сделала крупные изменения в стратегии на раннем этапе обучения и осторожные — на позднем.

Главное новшество, которого не было у DeepNash, — обдумывание хода перед его выполнением. ИИ вроде AlphaGo уточняют общую стратегию поиском непосредственно перед действием, но в Stratego пространство поиска слишком велико, и DeepMind не удалось заставить этот подход работать. Решение команды — вторая нейросеть, «модель убеждений», которая учится угадывать скрытые фигуры соперника по тому, как он ходил. Вместо перебора всех возможных расстановок Ataraxos выбирает правдоподобные, проигрывает в них варианты ходов и выбирает лучший по результату.

Название Ataraxos происходит от древнегреческого слова, означающего состояние спокойствия. По словам Фарины, это «кто-то спокойный и невозмутимый». Отсутствие человеческих эмоций не даёт ИИ действовать импульсивно «даже в ситуациях, где человек терял бы голову»: там, где человек пошёл бы на большой риск, чтобы отыграться, Ataraxos медленно и методично возвращается в игру.

Стратегия ИИ также избегает внимания к собственным проблемам. Когда Ataraxos считает, что у соперника нет причин подозревать слабое место, он это место не трогает — даже если для того, кто видит обе стороны доски, это выглядит как катастрофа. «Для людей очень трудно, зная секрет, принимать решения, игнорируя то, что ты знаешь этот секрет, — сказал Фарина. — Для машин это легко».

Матч с человеком

В течение трёх недель Нимеер играл против Ataraxos 20 онлайн-партий, получая $100 за каждую победу. Он знал, что ИИ не будет адаптироваться к нему, и мог искать слабые места. Победить удалось лишь однажды. Исследователи не считают это поражение изъяном: хорошая игра в Stratego требует случайной расстановки фигур, поэтому удача всегда играет роль. «Даже идеальная стратегия иногда просто проиграет», — сказал Фарина. По признанию соавтора Юджина Виницкого из NYU, везло и другой стороне: «Иногда везло нам».

На чемпионате мира по Stratego 2025 года посетители, бросавшие вызов Ataraxos, выступили ещё хуже: ИИ выиграл 38 партий из 40. По словам Фарины, бот «немного сместил метаигру»: игроков, например, удивило, как часто он прятал флаг в углу всего за двумя бомбами — редко встречавшаяся расстановка.

Цена обучения

DeepNash обучали два-три месяца на 1 024 специализированных чипах Google; команда Ataraxos оценивает такую тренировку в $3–4,5 млн по ценам 2025 года. Ataraxos же потребовалось 16 GPU на неделю и ещё четыре GPU на четыре дня для обучения модели убеждений. Фарина и ведущий автор работы Сэмюэл Сокота добились этого, написав симулятор, который выполняет миллионы ходов в секунду на видеокартах. «В масштабе, в котором мы находимся в академии, у нас нет доступа к целому полю GPU», — пояснил Фарина.

Алгоритм и учился гораздо быстрее: он сыграл примерно в 34 раза меньше партий, чем DeepNash, и всё равно оказался намного сильнее.

Архитектура Ataraxos показала себя и в других играх. Тот же подход победил трёх чемпионов мира в Barrage Stratego — ускоренном варианте с восемью фигурами, — освоил кооперативную карточную игру Hanabi и обыграл лучших ботов в китайской карточной игре доу дичжу.

За пределами доски

Настольные игры имеют фиксированные правила и ясного победителя, тогда как реальные задачи — переговоры, финансовые рынки или военные конфликты — обычно такими не являются. Команда утверждает, что разрыв меньше, чем кажется: решение любой реальной проблемы начинается с построения упрощённой модели. «Военные игры — распространённое занятие, — сказал Виницкий. — Можно использовать методы, выведенные здесь, чтобы проиграть ситуацию вперёд и посмотреть, как сильный противник ответит на ваши действия».

Сейчас Фарина и коллеги хотят сделать ИИ более понятным: в нынешнем виде Ataraxos не может объяснить, почему делает те или иные ходы. «Мы работаем над машинами, которые выдают сильные, но также интерпретируемые и объяснимые стратегии. Думаю, мы пока не совсем там», — сказал Фарина.

Что это значит

Результат показывает, что для игр с огромным объёмом скрытой информации и длинными партиями не обязательно нужны промышленные вычислительные ресурсы: сочетание самообучения с «моделью убеждений» и поиском перед ходом позволило добиться результата на 16 GPU. Для практики это скорее исследовательский сигнал, чем готовый рецепт: авторы сами отмечают, что реальные задачи отличаются от игр, а нынешняя модель пока не умеет объяснять свои решения.