20B малий модельний пошук досягає рівня GPT-5 та Opus: векторна база даних Chroma відкриває модель пошуку Agent Context-1

За моніторингом 1M AI News, проєкт Chroma з відкритим кодом випустив Context-1 — агент-пошуковик для багатоетапних завдань із параметрами 20 млрд. Ваги моделі відкрито під ліцензією Apache 2.0, а код пайплайну генерації синтетичних даних синхронно оприлюднено.

Призначення Context-1 — пошуковий підагент (retrieval subagent): він не відповідає напряму на запитання, а шляхом багатократного пошуку повертає набори супровідних документів для наступної моделі міркування. Ключова технологія — «саморедагований контекст» (self-editing context): під час пошуку модель активно відкидає нерелевантні фрагменти документів, щоб у межах обмеженого вікна контексту залишити простір для подальших пошуків і уникнути деградації продуктивності через роздування контексту.

Навчання розділено на два етапи: спочатку великі моделі на кшталт Kimi K2.5 генерують траєкторії SFT для наглядового файнтюнінгу як прогрів, а потім через підкріплювальне навчання (на основі алгоритму CISPO) тренують на понад 8000 синтетичних завдань. Механізм винагороди використовує курс: на ранніх етапах повторний широкий відбір стимулює ширші дослідження, а пізніше поступово зсувається до точності, заохочуючи вибіркове збереження релевантного. Базова модель — gpt-oss-20b; застосовано адаптацію LoRA. Під час інференсу використовується квантування MXFP4, робота на B200, пропускна здатність досягає 400-500 token/s.

На чотирьох доменних бенчмарках, які Chroma побудувала власноруч (веб, фінанси, право, пошта), та на відкритих бенчмарках (BrowseComp-Plus, SealQA, FRAMES, HotpotQA) чотириканальна паралельна версія Context-1 за показником «частка влучень у фінальну відповідь» тримається на рівні або близька до таких передових моделей, як GPT-5.2, Opus 4.5, Sonnet 4.5 тощо. Наприклад, на BrowseComp-Plus досягнуто 0.96 (Opus 4.5 — 0.87, GPT-5.2 — 0.82), тоді як вартість і затримка лише у кілька разів менші. Варто зазначити, що модель тренували лише на веб-, правових і фінансових даних, але в домені пошти, який не входив до тренувань, вона також демонструє помітне покращення, що свідчить про кросдоменно-переносимість пошукових здібностей.