Cohere представляет Tiny Aya — компактную многоязычную модель ИИ для локального развертывания

Кратко

Tiny Aya от Cohere представляет собой компактную мультиязычную систему искусственного интеллекта, обеспечивающую высококачественный перевод и генерацию текста более чем на 70 языках при сохранении эффективности, позволяющей запускать её на локальном оборудовании потребительского уровня.

Компания Cohere анонсировала Tiny Aya — компактную мультиязычную модель, предназначенную для обеспечения высокого качества перевода, понимания языка и генеративных возможностей, при этом оставаясь достаточно небольшой для работы на устройствах потребительского уровня. По словам компании, Tiny Aya стремится расширить возможности мультиязычного ИИ за пределы доминирующих веб-языков, сочетая эффективную архитектуру с исследованиями, ориентированными на лингвистическое разнообразие. В документе указано, что модель «охватывает более 70 языков*, включая многие языки с меньшими ресурсами со всего мира», и создана для работы локально без необходимости использования крупномасштабной облачной инфраструктуры.

В релиз вошли TinyAya‑Base — предварительно обученная модель с 3,35 миллиардами параметров, и TinyAya‑Global — версия с настройками по инструкциям, оптимизированная для стабильной работы на 67 языках. Cohere также представляет регионально-специализированные варианты, укрепляющие возможности в рамках конкретных языковых сообществ, при этом сохраняя широкое мультиязычное покрытие. Компания отмечает, что эти модели поддерживаются новым мультиязычным набором данных для тонкой настройки и бенчмарками, предназначенными для стандартизации оценки и стимулирования дальнейших исследований. Один из примеров подчеркивает, что Tiny Aya «обеспечивает сильную, сбалансированную производительность на 67 поддерживаемых языках», что делает её практичным выбором для разработчиков, работающих в различных языковых средах.

Cohere подчеркивает, что Tiny Aya разработана для поддержания стабильности в работе с языками, которые недостаточно представлены в интернете, противостояя типичным дисбалансам в производительности мультиязычных систем. В техническом отчете, сопровождающем релиз, описаны методы такие как улучшенная токенизация, синтетическая обработка данных и целенаправленные стратегии объединения, которые, по словам компании, помогают сохранять лингвистическую нюансировку при обеспечении эффективного обучения. В документе отмечается, что постобучение было завершено «на одном кластере из 64 GPU H100», что подчеркивает фокус проекта на эффективности, а не на масштабных вычислениях.

Tiny Aya укрепляет мультиязычный ИИ с помощью стабильной производительности, эффективной токенизации и специализированных региональных моделей

Оценки производительности показывают, что Tiny Aya конкурирует с существующими мультиязычными моделями аналогичного размера, а в некоторых случаях превосходит их, особенно в переводе, генерации открытого типа и математическом рассуждении для языков с меньшими ресурсами. Cohere выделяет стабильное поведение модели в различных языковых настройках, описывая её как систему, созданную для практического использования в реальных условиях, а не для узкоспециализированных бенчмарков. Конструкция токенизатора снижает фрагментацию по скриптам, уменьшает количество токенов в предложении и повышает эффективность вывода на локальном оборудовании. В документе говорится, что Tiny Aya «добивается наиболее эффективной токенизации практически для большинства оцененных языков», что поддерживает её цель — доступность.

Семейство моделей включает регионально-ориентированные варианты — TinyAya‑Earth, TinyAya‑Fire и TinyAya‑Water, каждый из которых оптимизирован для различных языковых групп, сохраняя при этом глобальную применимость. Cohere позиционирует эти модели как основу для развития сообществом, поощряя исследователей адаптировать их для новых языков, областей применения и локальных систем оценки. В заключение документа компания видит «живую экосистему множества моделей, сформированную множеством голосов», а не одну доминирующую мультиязычную систему.