Создание алгоритмов для сложных стратегических игр с неполной информацией, таких как покер, традиционно было уделом человеческого гения — кропотливым процессом, основанным на интуиции, математике и бесконечных пробах и ошибках. Особенно это касается сферы, известной как многоагентное обучение с подкреплением (MARL) — это область искусственного интеллекта, где несколько независимых агентов обучаются принимать решения в общей среде для достижения индивидуальных или коллективных целей. Это особенно сложно в играх, где агенты не имеют полной информации о действиях или состояниях других.

Но что, если этот процесс можно автоматизировать? Google DeepMind представила AlphaEvolve — революционную систему, которая знаменует собой фундаментальный сдвиг в этой области. Что такое AlphaEvolve? Это эволюционный агент, использующий мощь большой языковой модели (LLM) — типа искусственного интеллекта, обученного на огромных объемах текстовых данных для понимания, генерации и обработки человеческого языка. В данном контексте LLM используется для автоматического изменения исходного кода алгоритмов.

Ключевое отличие AlphaEvolve от предыдущих подходов заключается в том, что система не просто настраивает существующие параметры. Она самостоятельно пишет и модифицирует исходный код алгоритмов, по сути, занимаясь творческим программированием. Результатом стали новые алгоритмы, которые в прямых столкновениях превзошли лучшие аналоги, созданные человеком, открывая новую эру в разработке ИИ.

• Под капотом AlphaEvolve: Как LLM становится архитектором алгоритмов
• Открытие №1: VAD-CFR — Алгоритм, чувствующий волатильность игры
• Открытие №2: SHOR-PSRO — Гибридный решатель с автоматическим балансом исследования и эксплуатации
• За пределами «песочницы»: Доказательство обобщаемости и нечеловеческая логика
• Критический взгляд: «Черный ящик», переобучение и цена прогресса
• Экспертное мнение: Позиция «НейроТехнус»
• Новая эра в проектировании ИИ и три сценария будущего

Под капотом AlphaEvolve: Как LLM становится архитектором алгоритмов

Чтобы понять масштаб открытия DeepMind, необходимо заглянуть в машинное отделение AlphaEvolve. По своей сути, это не просто очередной оптимизатор, а распределенная эволюционная система, где в роли «естественного отбора» выступает производительность, а в роли «мутаций» — большая языковая модель. Как заявляют исследователи, AlphaEvolve — эволюционный кодирующий агент на базе LLM, который автоматизирует этот процесс поиска [1]. Ключевое нововведение заключается в том, что система работает не с числовыми гиперпараметрами, а напрямую с исходным кодом алгоритмов на Python. Эта концепция, где LLM как архитектор алгоритмов самостоятельно пишет и модифицирует код, и лежит в основе AlphaEvolve. LLM, в данном случае Gemini 2.5 Pro, получает код и инструкцию его улучшить, выступая в роли программиста-эволюциониста.

Процесс работы фреймворка цикличен и интуитивно понятен. Сначала создается начальная «популяция», состоящая из стандартной реализации алгоритма. Затем из этой популяции на основе показателя приспособленности выбирается родительский алгоритм. Его исходный код передается LLM с запросом на модификацию. Модель генерирует новый код — «потомка», который проходит оценку в серии тестовых игр. Если кандидат оказывается жизнеспособным и эффективным, он добавляется в популяцию. Сигналом приспособленности служит отрицательная эксплуатируемость — метрика, показывающая, насколько уязвима стратегия алгоритма для идеального оппонента. Чем ниже эксплуатируемость, тем выше приспособленность.

Для проверки своей гипотезы исследователи применили AlphaEvolve к двум фундаментальным парадигмам в теории игр. Первая — это минимизация контрфактического сожаления (CFR). Минимизация контрфактического сожаления (CFR) — это итеративный алгоритм, используемый в теории игр, особенно для игр с неполной информацией, таких как покер. Он работает путем накопления «сожаления» о том, что игрок мог бы выиграть, если бы действовал иначе, и использует это для корректировки своей стратегии в будущих итерациях. Конечная цель CFR — свести среднее сожаление к нулю, что позволяет стратегии приблизиться к так называемому равновесию Нэша (NE). Равновесие Нэша в играх — это ключевое понятие в теории игр, описывающее состояние, при котором ни один игрок не может улучшить свой выигрыш, изменив свою стратегию в одностороннем порядке, при условии, что стратегии всех остальных игроков остаются неизменными. Это стабильное состояние, к которому стремятся стратегии в играх.

Второй тестовой средой стали оракулы ответа в пространстве политик (PSRO) — более высокоуровневый подход, который поддерживает целый ансамбль различных стратегий для каждого игрока. Система итеративно вычисляет наилучший ответ на текущий мета-гейм (смесь стратегий) и добавляет его в популяцию. Именно способность AlphaEvolve оперировать не просто числами, а логикой, заложенной в исходный код Python для CFR и PSRO, и позволила системе совершить прорыв, открыв совершенно новые, неинтуитивные для человека алгоритмические подходы.

Открытие №1: VAD-CFR — Алгоритм, чувствующий волатильность игры

Первым впечатляющим результатом работы AlphaEvolve стал алгоритм Volatility-Adaptive Discounted CFR, или VAD-CFR. Этот VAD-CFR алгоритм от DeepMind — не просто очередная модификация известного семейства CFR, а качественно новый подход, рожденный в результате эволюционного поиска по пространству программного кода. Его эффективность основана на трех ключевых механизмах, которые вряд ли были бы предложены человеком-исследователем из-за их контринтуитивной природы.

Во-первых, VAD-CFR вводит дисконтирование, адаптирующееся к волатильности. В отличие от предшественников с фиксированными коэффициентами, алгоритм непрерывно отслеживает нестабильность процесса обучения с помощью экспоненциально взвешенного скользящего среднего (EWMA) величины мгновенных сожалений. Когда волатильность высока, дисконтирование усиливается, позволяя алгоритму быстрее «забывать» нерелевантную историю и адаптироваться к изменениям. При стабильном обучении, наоборот, исторические данные сохраняются дольше. Это придает системе гибкость, подобную интуиции опытного игрока.

Во-вторых, LLM добавила асимметричное мгновенное усиление. Положительные мгновенные сожаления — те, что указывают на упущенную выгоду от невыбранного действия — умножаются на коэффициент 1.1 перед добавлением к накопленной сумме. Этот небольшой, на первый взгляд, трюк делает алгоритм более восприимчивым к недавним удачным ходам, ускоряя сходимость к оптимальной стратегии.

Наконец, самым нетривиальным решением стал жесткий «теплый старт». VAD-CFR полностью откладывает усреднение выработанных стратегий до 500-й итерации. В течение этого периода алгоритм накапливает «опыт», но не пытается его обобщить. Этот порог в 500 итераций был найден системой самостоятельно, без какого-либо знания о том, что общая продолжительность оценки составляет 1000 итераций.

Сочетание этих трех механизмов создает мощный и эффективный алгоритм. Результаты говорят сами за себя: VAD-CFR либо соответствует, либо превосходит передовые результаты в 10 из 11 игр, единственным исключением стал 4-player Kuhn Poker [2]. Это наглядная демонстрация того, как эволюционный подход, управляемый языковой моделью, способен открывать новые, высокопроизводительные решения в сложных задачах.

Открытие №2: SHOR-PSRO — Гибридный решатель с автоматическим балансом исследования и эксплуатации

Вторым значимым прорывом системы автоматизированного поиска стала эволюция алгоритмов в парадигме Policy Space Response Oracles (PSRO). В то время как человеческие исследователи годами пытались вручную подобрать идеальные метастратегии, искусственный интеллект пошел по пути создания сложных гибридных структур. В результате AlphaEvolve также разработала SHOR-PSRO — гибридный решатель для PSRO с динамическим графиком отжига, превосходящий или соответствующий SOTA в 8 из 11 игр.

Аббревиатура SHOR-PSRO расшифровывается как Smoothed Hybrid Optimistic Regret PSRO. Главная инновация этого алгоритма заключается в его уникальной гибридной природе: на каждой внутренней итерации решатель линейно смешивает два совершенно разных вычислительных компонента, создавая мощную синергию между математической стабильностью и агрессивной эксплуатацией. Первый базовый компонент — Optimistic Regret Matching (ORM) — отвечает за минимизацию сожалений и обеспечивает фундаментальную стабильность всего процесса обучения, используя импульс для прироста выигрыша. Второй компонент — Smoothed Best Pure Strategy, реализованный через функцию Softmax, — представляет собой распределение Больцмана, которое целенаправленно смещено в сторону чистых стратегий с максимальным выигрышем. Это гарантирует эффективную эксплуатацию лучших из найденных решений.

Ключевая проблема любого подобного алгоритма в теории игр — это поиск идеального баланса между исследованием новых, неизвестных стратегий и эксплуатацией уже проверенных, выигрышных комбинаций. SHOR-PSRO решает эту сложнейшую задачу элегантно и полностью автоматически с помощью встроенного динамического графика отжига. По мере продвижения процесса обучения алгоритм самостоятельно управляет переходом от широкого поиска к точечной оптимизации. Это достигается за счет плавного изменения сразу трех критических параметров: коэффициента смешивания двух компонентов, бонуса за разнообразие стратегий и температуры Softmax. На ранних этапах высокий бонус за разнообразие поощряет активное исследование всей доступной популяции, а затем он плавно снижается, уступая место тонкой настройке равновесия Нэша.

Однако самым нетривиальным открытием искусственного интеллекта в архитектуре SHOR-PSRO стала ярко выраженная асимметрия между решателями, используемыми для обучения и для итоговой оценки. Если во время тренировки алгоритм использует динамический отжиг и усредненную по времени стратегию для максимальной стабильности, то на этапе оценки применяется совершенно иной, жесткий подход. Оценочный решатель фиксирует параметры на экстремально низких значениях, полностью отключает бонус за разнообразие, значительно увеличивает базовое количество внутренних итераций и возвращает стратегию последней итерации для получения максимально реактивной оценки уязвимости. Подобное радикальное разделение конфигураций — это не результат человеческой интуиции или классического алгоритмического дизайна, а чистый продукт машинной эволюции.

Масштабный сравнительный анализ с такими признанными аналогами, как Uniform, Nash, AlphaRank, Projected Replicator Dynamics и Regret Matching, безоговорочно подтвердил превосходство нового подхода. Способность SHOR-PSRO автоматически адаптировать стратегию обучения без необходимости ручной настройки гиперпараметров позволила ему не просто конкурировать с существующими решениями, но и установить новые стандарты производительности в подавляющем большинстве сложных игровых сценариев с неполной информацией.

За пределами «песочницы»: Доказательство обобщаемости и нечеловеческая логика

Чтобы доказать, что новые алгоритмы действительно решают фундаментальные задачи теории игр, а не просто заучивают выигрышные стратегии для конкретных сценариев, исследователи Google DeepMind применили максимально строгий протокол оценки. Ключевым элементом этого подхода стало жесткое разделение сред на обучающие и тестовые. В процессе эволюции система AlphaEvolve работала исключительно с базовым набором: 3-player Kuhn Poker, 2-player Leduc Poker, 4-card Goofspiel и 5-sided Liars Dice. Однако финальная проверка проводилась на совершенно другом, более масштабном полигоне. В тестовый набор вошли укрупненные версии, такие как 4-player Kuhn Poker, 3-player Leduc Poker, 5-card Goofspiel и 6-sided Liars Dice.

Как показали результаты, разработанные ИИ алгоритмы демонстрируют высокую обобщающую способность, успешно работая на более крупных и ранее невиданных играх без какой-либо дополнительной ручной настройки. Но самое поразительное кроется не в сухих метриках, а в том, какими именно путями эти метрики были достигнуты. Логика, предложенная большой языковой моделью, кардинально отличается от привычного человеческого подхода к проектированию. Например, в алгоритме VAD-CFR система внедрила так называемый жесткий старт, полностью отложив усреднение стратегии до 500-й итерации. Примечательно, что этот порог был выбран моделью абсолютно самостоятельно, без знания о том, что общий горизонт оценки составляет ровно 1000 итераций. К этому добавляется асимметричное усиление, при котором положительные мгновенные сожаления умножаются на неочевидный коэффициент 1.1, делая алгоритм более реактивным к удачным действиям. В случае с SHOR-PSRO искусственный интеллект пошел еще дальше, создав принципиально разные конфигурации решателей для этапов обучения и оценки.

Все эти обнаруженные механизмы являются неинтуитивными и труднодостижимыми для человеческого проектирования. По сути, ИИ создает неинтуитивные алгоритмы, что подчеркивает потенциал автоматизированного поиска в этой области. Вместо того чтобы бесконечно перебирать параметры в рамках устоявшихся парадигм, эволюция исходного кода открывает доступ к совершенно новым, нечеловеческим математическим концепциям, которые на практике работают эффективнее традиционных методов.

Критический взгляд: «Черный ящик», переобучение и цена прогресса

Несмотря на впечатляющие результаты, подход AlphaEvolve, как и любая прорывная технология, требует критического осмысления. За эйфорией от автоматического открытия алгоритмов скрывается ряд фундаментальных проблем. Главный вопрос касается природы «неинтуитивных» решений, сгенерированных LLM. Существует обоснованный риск, что эти элегантные на первый взгляд механизмы являются формой сложного переобучения на специфическом наборе тренировочных игр. Хотя система и показала способность к обобщению на невиданных ранее, но структурно схожих задачах, это не гарантирует ее масштабируемости на более широкий и разнообразный спектр проблем. Более того, зависимость от LLM для генерации кода усугубляет проблему «черного ящика». Когда сама логика алгоритма создается нейросетью, ее отладка, формальная верификация и, что самое важное, интуитивное понимание человеком становятся чрезвычайно сложными. Это создает серьезные риски при внедрении подобных систем в критически важные области, где прозрачность и предсказуемость являются обязательными требованиями.

Другим существенным барьером на пути широкого распространения является цена прогресса. Огромные вычислительные затраты, необходимые для эволюционного поиска с использованием мощных LLM, делают метод практически недоступным для большинства академических групп и коммерческих компаний, не обладающих ресурсами уровня Google. Это ставит под сомнение демократизацию подхода и создает риск концентрации передовых исследований в руках нескольких технологических гигантов. Кроме того, сама эффективность LLM в модификации кода может быть ограничена сложностью алгоритмов или спецификой предметной области, требуя значительной инженерной доработки для адаптации к новым условиям.

Необходимо признать, что успех, продемонстрированный в играх с неполной информацией, может оказаться непереносимым на другие типы задач мультиагентного обучения с подкреплением (MARL) или, тем более, на сложные реальные сценарии, где правила динамичны, а среда полна непредвиденных факторов.

Экспертное мнение: Позиция «НейроТехнус»

Специалисты компании «НейроТехнус» рассматривают исследование Google DeepMind как знаковое событие, демонстрирующее качественный скачок в применении больших языковых моделей. Мы наблюдаем переход от генерации контента к полноценному автоматизированному проектированию и оптимизации сложных алгоритмов. Способность AlphaEvolve находить неинтуитивные, но высокоэффективные решения, которые превосходят созданные человеком аналоги, ярко иллюстрирует растущий потенциал ИИ в решении фундаментальных инженерных и научных задач.

Этот прорыв полностью соответствует нашему видению будущего, в котором глубокая интеграция искусственного интеллекта в процессы разработки становится нормой. В «НейроТехнус» мы активно применяем схожие принципы для трансформации создания AI-решений. Подобные подходы позволяют не только радикально ускорить инновационные циклы, но и освободить наших ведущих экспертов от рутинного или сверхсложного проектирования для концентрации на стратегических задачах. В конечном счете, это открывает путь к созданию нового поколения более мощных, гибких и адаптивных систем.

Новая эра в проектировании ИИ и три сценария будущего

Прорыв, продемонстрированный AlphaEvolve, знаменует собой не просто очередной шаг в развитии ИИ, а фундаментальный сдвиг парадигмы: от искусственного интеллекта как инструмента к ИИ как соавтору в научном поиске. Мы вступаем в эпоху, где алгоритмы создаются не только людьми, но и самими машинами, открывая путь к сверхэффективным системам, чья логика может быть совершенно неинтуитивной для человека.

Этот потенциал несет в себе и серьезные риски. С одной стороны, ускорение научных открытий, с другой — создание технологических «черных ящиков», сложность которых затрудняет аудит, отладку и гарантирование безопасности. Высокие вычислительные затраты могут сконцентрировать эту мощь в руках нескольких корпораций, усугубляя экономическое неравенство, а вытеснение экспертов-людей ставит новые этические вопросы.

Будущее этой технологии можно представить в виде трех сценариев. Позитивный: эволюционный поиск на базе LLM становится стандартом, кардинально ускоряя прогресс. Нейтральный: системы вроде AlphaEvolve находят нишевое применение, дополняя, но не заменяя традиционные методы. Негативный: «неинтуитивные» алгоритмы оказываются слишком сложными для масштабирования и адаптации, что приводит к стагнации из-за потери контроля и понимания со стороны человека.

Таким образом, мы стоим на пороге эры, где сложность создаваемых ИИ систем может превзойти нашу способность их полностью понимать. Это требует немедленной разработки новых подходов к контролю, верификации и взаимодействию с технологиями, которые из послушных исполнителей превращаются в полноценных творческих партнеров.

Часто задаваемые вопросы

Что такое AlphaEvolve и какова ее основная функция?

AlphaEvolve — это революционная система от Google DeepMind, которая использует большую языковую модель (LLM) для автоматического изменения исходного кода алгоритмов. Она самостоятельно пишет и модифицирует алгоритмы, занимаясь творческим программированием, что позволяет ей превосходить лучшие аналоги, созданные человеком.

Как работает система AlphaEvolve?

AlphaEvolve функционирует как распределенная эволюционная система, где LLM (например, Gemini 2.5 Pro) выступает в роли программиста-эволюциониста. Она получает исходный код алгоритма и инструкцию по его улучшению, генерируя новые версии, которые затем оцениваются в тестовых играх. Наиболее эффективные кандидаты добавляются в популяцию, имитируя естественный отбор.

Какие новые алгоритмы были разработаны с помощью AlphaEvolve?

AlphaEvolve разработала алгоритмы VAD-CFR (Volatility-Adaptive Discounted CFR) для минимизации контрфактического сожаления и SHOR-PSRO (Smoothed Hybrid Optimistic Regret PSRO) для оракулов ответа в пространстве политик. Эти алгоритмы включают неинтуитивные для человека механизмы и превосходят существующие решения в большинстве сложных игровых сценариев.

В чем заключаются преимущества подхода AlphaEvolve по сравнению с традиционными методами?

Главное преимущество AlphaEvolve в ее способности самостоятельно создавать и модифицировать исходный код алгоритмов, открывая совершенно новые, неинтуитивные для человека алгоритмические подходы. Это позволяет достигать более высокой производительности в сложных задачах теории игр, автоматизируя процесс, который ранее требовал человеческого гения.

Какие потенциальные риски и проблемы связаны с технологией AlphaEvolve?

Среди рисков — проблема «черного ящика», так как логика алгоритмов, созданных LLM, сложна для отладки и понимания человеком, что затрудняет внедрение в критически важные области. Также существуют высокие вычислительные затраты, ограничивающие доступность технологии, и риск переобучения на специфических тренировочных данных.