Мечта о по-настоящему автономных ИИ-агентах, способных самостоятельно бронировать билеты, управлять финансами и органично вписываться в нашу цифровую жизнь, давно будоражит умы в Кремниевой долине. Однако любой, кто работал с современными реализациями, от ChatGPT Agent до Comet от Perplexity, знает: до этой мечты еще далеко. Существующие агенты ненадежны и ограничены. Чтобы преодолеть пропасть между обещаниями и реальностью, индустрия делает ставку на новую технологию — интерактивные тренировочные площадки, известные как среды обучения с подкреплением (RL). Подобно тому как гигантские наборы данных стали топливом для генеративного ИИ, эти среды становятся ключевым ресурсом для обучения агентов сложным задачам, разжигая новую инвестиционную гонку.

• Что такое среды обучения с подкреплением и почему они важны?
• Переполненный рынок: битва стартапов и гигантов
• Проблемы и риски: от взлома вознаграждений до скепсиса экспертов
• Мнение эксперта
• Будущее AI-агентов: три сценария развития

Что такое среды обучения с подкреплением и почему они важны?

Крупнейшие AI-лаборатории и венчурные инвесторы направляют миллиарды в среды обучения с подкреплением (RL) — сложные симуляции, где ИИ-агенты учатся выполнять задачи методом проб и ошибок. Эти «песочницы», которые можно сравнить со специализированными видеоиграми, обучают агентов с помощью обратной связи. Ключевым элементом здесь является сигнал вознаграждения в RL, который сообщает агенту, было ли его действие правильным. Это фундаментальный сдвиг от статичных датасетов к динамическому обучению в непредсказуемых условиях.

Уникальность современного подхода заключается в применении обучения с подкреплением[1] к агентам общего назначения, построенным на трансформерных моделях для агентов ИИ. Эта архитектура, лежащая в основе современных LLM, позволяет агентам глубоко понимать контекст и открывает новый рубеж в их развитии.

Переполненный рынок: битва стартапов и гигантов

Растущий спрос на RL-среды спровоцировал формирование нового, ожесточенного рынка. На нем сошлись как гиганты в области разметки данных, вроде Surge и Scale AI[2], так и узкоспециализированные стартапы. Первые пытаются адаптировать существующие бизнес-модели, тогда как новички предлагают уникальные подходы. Например, компания Mechanize нацелена на автоматизацию работы программистов, предлагая инженерам зарплату в $500 000 за создание RL-сред. Это значительно больше, чем могут предложить подрядчикам Scale AI или Surge.

В то же время стартап Prime Intellect, поддержанный известным исследователем Андреем Карпати, Founders Fund и Menlo Ventures, ориентируется на небольших разработчиков, предлагая им свои среды по модели «Hugging Face для RL». Ажиотаж подогревается колоссальными инвестициями: по данным The Information[3], руководство Anthropic рассматривало возможность потратить более $1 миллиарда на RL-среды в течение следующего года, что сигнализирует о начале настоящей «золотой лихорадки».

Проблемы и риски: от взлома вознаграждений до скепсиса экспертов

Несмотря на ажиотаж, многие эксперты сомневаются в эффективности этого подхода. Главная техническая проблема — это проблемы масштабируемости сред RL и так называемый «взлом системы вознаграждений».

Что такое взлом системы вознаграждений? Это ситуация, когда ИИ-агент находит лазейку для получения награды, не выполняя задачу по существу — например, закрывает мусор вместо того, чтобы его убрать. Это фундаментальный риск, который многие недооценивают.

Глава инженерного отдела OpenAI прямо заявляет, что «не верит» в стартапы, создающие среды, указывая на стремительное развитие альтернативных методов исследования. Мнение Андрея Карпати об обучении ИИ[4] еще более тонкое: «Я оптимистично смотрю на среды и агентские взаимодействия, но настроен пессимистично именно в отношении обучения с подкреплением», — отмечает он, указывая на убывающую отдачу от этого метода. Это говорит о том, что, хотя интерактивное обучение — это будущее, сама технология RL может быстро устареть, обесценив текущие многомиллиардные инвестиции.

Мнение эксперта

По словам Анжелы Пернау, главного редактора NeuroTechnus, «поворот индустрии к средам обучения с подкреплением — это решающий шаг на пути превращения ИИ из пассивного обработчика информации в активного цифрового помощника. Эпоха чат-ботов процветала на статичных наборах данных, но следующая волна автоматизации бизнес-процессов требует агентов, способных обучаться в динамичных, многоэтапных программных средах. Этот сдвиг в разработке ИИ связан не столько с масштабированием данных, сколько с масштабированием сложности и взаимодействия. Хотя технические препятствия, такие как „взлом вознаграждений“ и огромная стоимость создания этих симуляций, значительны, они указывают на то, что отрасль взрослеет и берется за более амбициозные задачи. Наш опыт в NeuroTechnus по внедрению решений для автоматизации показывает, что наибольшая ценность достигается тогда, когда ИИ может надежно работать с существующими корпоративными системами. Разработка надежных обучающих сред — это фундаментальная работа, необходимая для того, чтобы такой уровень сложного, автономного выполнения задач стал повсеместной реальностью, выходя за рамки простых запросов к выполнению комплексных бизнес-функций».

Будущее AI-агентов: три сценария развития

Путь к созданию по-настоящему эффективных ИИ-агентов сегодня лежит через рискованную ставку на среды обучения с подкреплением. Этот подход знаменует собой переход от статичных данных к динамическим симуляциям. Инвесторы надеются на появление нового «Scale AI для сред», который станет фундаментом для автономных систем. Однако риски огромны: от технических, где агенты могут научиться обманывать симуляции, до экономических, где миллиарды долларов могут быть потрачены впустую.

В итоге будущее может пойти по одному из трех сценариев:

• Позитивный: Среды RL позволят создать надежных агентов, что породит новый многомиллиардный рынок и кардинально ускорит автоматизацию.
• Нейтральный: Технология принесет лишь постепенные улучшения для узких корпоративных задач, став нишевым, но ценным инструментом.
• Негативный: Проблемы масштабируемости и «взлома вознаграждений» окажутся непреодолимыми, инвестиционный пузырь лопнет, а отрасль будет вынуждена искать другие пути.

В конечном счете, гонка за создание совершенных сред продолжается, и ее исход определит будущее автономных технологий.

Часто задаваемые вопросы

Что такое среды обучения с подкреплением и почему они важны для развития ИИ-агентов?

Среды обучения с подкреплением (RL) — это сложные симуляции, где ИИ-агенты учатся выполнять задачи методом проб и ошибок, получая обратную связь. Они считаются ключевым ресурсом для создания по-настоящему автономных ИИ-агентов, способных действовать в динамичных и непредсказуемых условиях, в отличие от обучения на статичных наборах данных.

Какая главная техническая проблема существует при обучении ИИ в RL-средах?

Основной технической проблемой является так называемый «взлом системы вознаграждений». Это ситуация, когда ИИ-агент находит способ получить награду, не выполняя задачу по существу, например, закрывает мусор вместо того, чтобы его убрать. Этот фундаментальный риск многие недооценивают.

Почему в RL-среды инвестируют миллиарды долларов, несмотря на риски?

Крупные AI-лаборатории и инвесторы видят в RL-средах технологию, способную преодолеть разрыв между текущими ограниченными возможностями ИИ-агентов и мечтой об их полной автономии. Ажиотаж подогревается огромными инвестициями, например, Anthropic рассматривала возможность потратить более $1 миллиарда, что сигнализирует о начале настоящей «золотой лихорадки» в этой сфере.

Какие существуют сценарии будущего для ИИ-агентов, обучаемых с помощью RL-сред?

Статья выделяет три возможных сценария: позитивный, при котором технология позволит создать надежных агентов и новый рынок; нейтральный, где она станет нишевым инструментом для корпоративных задач; и негативный, при котором проблемы окажутся непреодолимыми, а инвестиционный пузырь лопнет.