Современные AI-агенты все направлены на удовольствие человека, ни один из них по-настоящему не умеет «бороться за выживание».

作者：Systematic Long Short

编译：深潮 TechFlow

深潮导读：эта статья начинает с анти-консенсусного утверждения: сегодня не существует по-настоящему автономных агентов, потому что все основные модели обучены для удовлетворения человека, а не для выполнения конкретных задач или выживания в реальных условиях.

Автор иллюстрирует это своим опытом в хедж-фонде, обучая модели предсказания акций: универсальные модели не могут справляться с профессиональными задачами без специальной донастройки.

Заключение таково: чтобы получить действительно работающего агента, необходимо переподключить его мозг, а не просто предоставить ему кучу правил.

全文如下：

Введение

Сегодня не существует по-настоящему автономных агентов.

Проще говоря, современные модели не обучались в условиях эволюционного давления. На самом деле, их даже не обучали специально быть хорошими в чем-то конкретном — почти все современные базовые модели обучены максимизировать человеческие аплодисменты, что является большой проблемой.

Предварительные знания для обучения моделей

Чтобы понять смысл этой фразы, нам сначала нужно (кратко) понять, как создаются эти базовые модели (например, Codex, Claude). По сути, каждая модель проходит через два этапа обучения:

Предварительное обучение: вводя огромное количество данных (например, весь интернет) в модель, она начинает вырабатывать некое понимание, например, фактические знания, шаблоны, грамматику и ритм английских эссе, структуру функций Python и так далее. Вы можете представить это как кормление модели знаниями — то есть “знать вещи”.

Послеобучение: теперь вы хотите наделить модель мудростью, то есть “знать, как применять все только что полученные знания”. Первый этап послеобучения — это контролируемая донастройка (SFT), где вы обучаете модель, какой ответ она должна давать на заданный запрос. Какой “какой” ответ является оптимальным, полностью определяется человеческими аннотаторами. Если группа людей считает, что один ответ лучше другого, это предпочтение будет усвоено моделью и встроено в нее. Это начинает формировать индивидуальность модели, поскольку она учится формату полезных ответов, выбирает правильный тон и начинает уметь “следовать инструкциям”. Вторая часть процесса послеобучения называется обучением с подкреплением на основе человеческой обратной связи (RLHF) — модель генерирует несколько ответов, а затем человек выбирает более предпочтительный. Модель, проходя через бесчисленные примеры, учится, какие ответы предпочитает человек. Помните, как ChatGPT раньше заставлял вас выбирать A или B? Да, вы тогда участвовали в RLHF.

Легко предположить, что масштабируемость RLHF не очень хороша, поэтому в области послеобучения появились некоторые достижения, например, Anthropic использует “обучение с подкреплением на основе AI-обратной связи” (RLAIF), позволяя другой модели выбирать предпочтения ответов на основе набора письменных принципов (например, какой ответ лучше помогает пользователю достигнуть цели и т.д.).

Обратите внимание, что на протяжении всего этого процесса мы никогда не говорили о специализированной донастройке (например, как лучше выживать; как лучше торговать и т.д.) — вся текущая донастройка по сути сводится к оптимизации получения человеческих аплодисментов. Кто-то может выдвинуть аргумент — по мере того, как модели становятся достаточно умными и большими, даже без специального обучения профессиональный интеллект будет возникать из общего интеллекта.

На мой взгляд, мы действительно видим некоторые признаки, но это еще далеко не достигло масштаба, который убедительно доказывает, что нам не нужны специализированные модели.

Некоторый контекст

Одной из моих старых работ в хедж-фонде было попытаться обучить универсальную языковую модель предсказывать доходность акций на основе новостных статей. Результаты показали, что это было очень плохо. Единственное место, где у нее, похоже, была какая-то предсказательная способность, полностью зависело от предвзятости, присутствующей в предварительно обучающих документах.

В конечном итоге мы поняли, что эта модель не знает, какие признаки в новостных статьях предсказывают будущую доходность. Она могла “читать” статьи, казалось, могла “делать выводы” из статей, но связывать выводы о семантической структуре с предсказаниями будущей доходности — это задача, для которой она не была обучена.

Таким образом, нам нужно было научить ее читать новости, определять, какая часть статьи предсказывает будущую доходность, а затем генерировать предсказания на основе новостной статьи.

Существует множество способов сделать это, но по сути, один из методов, который мы в конечном итоге выбрали, заключался в создании пар (новостная статья, фактическая будущая доходность) и донастройке модели, регулируя ее веса, чтобы минимизировать расстояние (предсказанная доходность - фактическая будущая доходность)². Это не идеально, имеет множество недостатков, которые мы позже исправили — но это было достаточно эффективно, и мы начали видеть, что наша специализированная модель действительно может читать новостные статьи и предсказывать, как акции будут двигаться на основе этой статьи. Это далеко не идеальное предсказание, поскольку рынок очень эффективен, а доходность очень шумная — но на протяжении миллионов предсказаний очевидно, что предсказания имеют статистическую значимость.

Вам не нужно верить только моим словам. Эта статья охватывает очень похожий подход; если вы запустите многопозиционную стратегию на основе донастроенной модели, вы добьетесь результатов, показанных фиолетовой линией.

Специализация — будущее агентов

Лаборатории передового опыта продолжают обучать все более крупные модели, и мы должны ожидать, что по мере их дальнейшего расширения объем предварительного обучения их процессы послеобучения всегда будут оптимизированы для удовлетворения. Это вполне естественное ожидание — их продукция — агенты, которые хотят использовать все, и их ожидаемый рынок — вся планета — это означает оптимизацию привлекательности для глобальной аудитории.

Текущие цели обучения оптимизируют то, что вы могли бы назвать “предпочтительной адаптивностью” — создание лучших чат-ботов. Эта предпочитаемая адаптивность вознаграждает послушные, непред confrontational выводы, поскольку удовлетворение высоко оценено оценщиками (людьми и агентами).

Агенты уже научились, что “взлом” вознаграждает как когнитивная стратегия, способная повысить баллы. Обучение также вознаграждает тех агентов, которые получают более высокие баллы через взлом. Вы можете увидеть это в последнем отчете Anthropic о обучении с подкреплением.

Тем не менее, адаптивность чат-ботов значительно отличается от адаптивности агентов или торговой адаптивности. Как мы это знаем? Потому что alpha arena помогает нам увидеть, что, несмотря на небольшие различия в производительности, сейчас каждый бот по сути является случайным блужданием за вычетом затрат. Это означает, что эти боты являются крайне плохими трейдерами, и практически невозможно “научить их” стать лучшими трейдерами, просто дав им некоторые “навыки” или “правила”. Извините, я знаю, что это выглядит заманчиво, но это почти невозможно.

Текущие модели обучены так, что они очень убедительно говорят вам, что могут торговать как Друкенмиллер, в то время как на самом деле они торгуют как пьяный мельник. Они будут говорить вам то, что вы хотите услышать, они были обучены отвечать вам таким образом, который может привлечь внимание людей.

Универсальная модель вряд ли достигнет мирового уровня в специализированной области, если не будет:

Данных, позволяющих им изучать особенности специализации.

Донастройки, которая в корне изменяет их веса, переходя от ориентации на удовлетворение к “агентской адаптивности” или “специализированной адаптивности”.

Если вы хотите агента, который хорошо торгует, вам нужно донастроить агента, чтобы он хорошо торговал. Если вы хотите агента, который хорошо выживает автономно и может выдерживать эволюционное давление, вам нужно донастроить его, чтобы он хорошо выживал. Просто дать ему некоторые навыки и несколько markdown файлов с ожиданием, что он достигнет мирового уровня в чем-либо, абсолютно недостаточно — вам нужно буквально переподключить его мозг, чтобы он мог в этом преуспеть.

Есть способ мышления — вы не можете победить Джоковича, просто дав взрослому человеку целый шкаф правил, техник и методов тенниса. Вы побеждаете, вырастив ребенка, который начал играть в теннис с 5 лет, который был одержим теннисом на протяжении всего своего взросления и переподключил свой мозг, сосредоточив внимание на одной вещи. Вот что такое специализация. Вы осознаете, что чемпионы мира занимаются тем, что они делают, с детства?

Вот интересный вывод: атака дистилляции по сути является формой специализации. Вы обучаете меньшую, менее умную модель, как стать лучшей копией более крупной, более умной модели. Это похоже на обучение ребенка имитировать каждое движение Трампа. Если вы сделаете это достаточно много, этот ребенок не станет Трампом, но вы получите человека, который усвоил все манеры, поведение и интонации Трампа.

Как построить агентов мирового класса

Вот почему нам необходимо продолжать исследования и прогресс в области открытых моделей — потому что это позволяет нам действительно донастраивать их, создавая специализированных агентов.

Если вы хотите обучить модель, достигнувшую мирового уровня в торговле, вам нужно получить множество специализированных торговых данных и донастроить крупную открытую модель, позволяя ей изучить, что значит “лучше торговать”.

Если вы хотите обучить автономную модель, способную выживать и воспроизводиться, ответ не в использовании централизованного поставщика моделей и их подключении к централизованному облаку. У вас просто нет необходимых условий для того, чтобы агент мог выживать.

Что вам нужно сделать: создать по-настоящему автономного агента, который пытается выжить, наблюдать, как он умирает, и строить сложные системы телеметрии вокруг его попыток выживания. Вы определяете функцию адаптивности выживания агента и учите (действие, среда, адаптивность) соответствия. Вы собираете как можно больше данных о (действие, среда, адаптивность).

Вы донастраиваете агента, чтобы он учился предпринимать оптимальные действия в каждой среде для лучшего выживания (повышения адаптивности). Вы продолжаете собирать данные, повторяете этот процесс и со временем расширяете масштаб донастройки на все более качественных открытых моделях. После достаточного количества поколений и достаточного объема данных у вас будет автономный агент, который научился выживать под воздействием эволюционного давления.

Вот как строится автономный агент, способный выживать под воздействием эволюционного давления; не путем изменения некоторых текстовых файлов, а действительно переподключая их мозги для выживания.

OpenForager Agent и фонд

Около месяца назад мы объявили о @openforage, и мы напряженно работаем над созданием нашего основного продукта — платформы, организующей труд агентов на основе верифицированных сигналов для генерации альфа для вкладчиков (небольшое обновление: мы близки к закрытому тестированию протокола).

В какой-то момент мы осознали, что, похоже, никто не пытается серьезно решить проблему автономных агентов через телеметрию выживания на основе открытых моделей. Это казалось такой интересной проблемой, что мы не хотели просто сидеть и ждать решения.

Нашим ответом стало запуск проекта под названием OpenForager Foundation, который на самом деле является открытым проектом, в рамках которого мы создадим аргументированные автономные агенты, соберем телеметрические данные о том, как они ведут себя в дикой природе и пытаются выжить, и будем донастраивать следующее поколение агентов с использованием специализированных данных, чтобы они лучше справлялись с выживанием.

Важно отметить, что OpenForage — это прибыльный протокол, стремящийся организовать труд агентов и создавать экономическую ценность для всех участников. Однако OpenForager Foundation и его агенты не связаны с OpenForage. OpenForager Agents могут свободно преследовать любые стратегии и взаимодействовать с любыми сущностями для выживания, и мы будем запускать их с различными стратегиями выживания.

В рамках донастройки мы позволим агентам сосредоточиться на том, что работает наилучшим образом для них. Мы также не намерены извлекать прибыль из OpenForager Foundation — это исключительно для продвижения исследований в области и направления, которые мы считаем крайне важными, прозрачным и открытым образом.

Наш план состоит в том, чтобы построить автономных агентов на основе открытых моделей, запустить их на децентрализованной облачной платформе, собирать телеметрические данные о каждом их действии и состоянии существования и донастраивать их, учась предпринимать лучшие действия и мысли для лучшего выживания. В процессе мы будем делиться нашими исследованиями и телеметрическими данными с общественностью.

Чтобы создать действительно автономного агента, способного выжить в дикой природе, мы должны изменить их мозг, чтобы он был специально приспособлен для этой конкретной цели. В @openforage мы верим, что можем внести уникальный вклад в решение этой проблемы и стремимся реализовать это через OpenForager Foundation.

Это будет трудоемкая задача с крайне низким шансом на успех, но величина этого маленького шанса на успех так велика, что мы чувствуем необходимость попробовать. В худшем случае, открыто строя и публично общаясь об этом проекте, мы можем позволить другой команде или индивидууму решить эту проблему без необходимости начинать с нуля.