概要CohereのTiny Ayaは、70以上の言語で高品質な翻訳と生成性能を提供しながら、消費者向けハードウェア上でローカルに動作可能なコンパクトな多言語AIシステムです。AI企業のCohereは、Tiny Ayaという小型の多言語モデルを発表しました。これは、高品質な翻訳、言語理解、生成性能を実現しつつ、消費者デバイス上で動作できるほど小型化されたものです。同社によると、Tiny Ayaは効率的なアーキテクチャと言語的多様性に焦点を当てた研究を組み合わせることで、主要なウェブ言語を超えた多言語AIの拡大を目指しています。資料によれば、このモデルは「70以上の言語をカバーし、多くの資源が少ない世界中の言語も含む」とされており、大規模なクラウドインフラに依存せずにローカルで動作するよう設計されています。リリースには、35億パラメータの事前学習済みモデルであるTinyAya‑Baseと、67の言語で一貫した性能を発揮する指示調整済みのTinyAya‑Globalが含まれます。Cohereはまた、特定の言語コミュニティ内の能力を強化しつつ、広範な多言語カバレッジを維持する地域特化型のバリアントも導入しています。同社はこれらのモデルを支える新しい多言語微調整データセットと評価基準を発表し、評価の標準化とさらなる研究促進を目指しています。資料の一部では、Tiny Ayaは「67のサポート言語で強力かつバランスの取れた性能を発揮し、多様な言語環境での実用的な選択肢」と位置付けられています。Cohereは、Tiny Ayaがオンラインで十分に表現されていない言語間の安定性を維持するよう設計されていることを強調しています。技術報告書では、トークナイゼーションの改善、合成データの自然化、ターゲットを絞ったマージ戦略などの手法を紹介し、これらが言語のニュアンスを保持しつつ効率的な学習を可能にしていると述べています。なお、トレーニングは「単一の64 H100 GPUクラスター上で完了した」と記されており、大規模な計算資源を必要としない効率性に焦点を当てていることが示されています。## Tiny Ayaは一貫した性能と効率的なトークナイゼーション、地域特化モデルで多言語AIを強化性能評価では、Tiny Ayaは同程度のサイズの既存の多言語モデルと比較して、特に翻訳、オープンエンド生成、資源の少ない言語の数学的推論において優れていることが示されています。Cohereは、モデルの一貫した挙動を強調し、狭いベンチマーク最適化ではなく、実用性を重視したシステムであると説明しています。トークナイザーの設計により、スクリプト間の断片化が減少し、1文あたりのトークン数が少なくなり、ローカルハードウェア上での推論効率が向上しています。資料には、Tiny Ayaが「評価対象のほとんどの言語で最も効率的なトークナイゼーションを実現している」と記されており、アクセス性向上を目指していることがわかります。モデル群には、地域に焦点を当てたバリアントとしてTinyAya‑Earth、TinyAya‑Fire、TinyAya‑Waterがあり、それぞれ異なる言語群に最適化されつつも、グローバルな適用性を維持しています。Cohereはこれらのモデルを、コミュニティ主導の開発の基盤と位置付けており、新興言語や新しいドメイン、地域特化の評価フレームワークに適応させることを奨励しています。資料の最後では、「多くの声によって形作られる多様なモデルのエコシステム」が構築されることを展望しており、単一の支配的な多言語システムではない未来を描いています。
Cohere、ローカル展開向けのコンパクトな多言語AIモデル「Tiny Aya」を発表
概要
CohereのTiny Ayaは、70以上の言語で高品質な翻訳と生成性能を提供しながら、消費者向けハードウェア上でローカルに動作可能なコンパクトな多言語AIシステムです。
AI企業のCohereは、Tiny Ayaという小型の多言語モデルを発表しました。これは、高品質な翻訳、言語理解、生成性能を実現しつつ、消費者デバイス上で動作できるほど小型化されたものです。同社によると、Tiny Ayaは効率的なアーキテクチャと言語的多様性に焦点を当てた研究を組み合わせることで、主要なウェブ言語を超えた多言語AIの拡大を目指しています。資料によれば、このモデルは「70以上の言語をカバーし、多くの資源が少ない世界中の言語も含む」とされており、大規模なクラウドインフラに依存せずにローカルで動作するよう設計されています。
リリースには、35億パラメータの事前学習済みモデルであるTinyAya‑Baseと、67の言語で一貫した性能を発揮する指示調整済みのTinyAya‑Globalが含まれます。Cohereはまた、特定の言語コミュニティ内の能力を強化しつつ、広範な多言語カバレッジを維持する地域特化型のバリアントも導入しています。同社はこれらのモデルを支える新しい多言語微調整データセットと評価基準を発表し、評価の標準化とさらなる研究促進を目指しています。資料の一部では、Tiny Ayaは「67のサポート言語で強力かつバランスの取れた性能を発揮し、多様な言語環境での実用的な選択肢」と位置付けられています。
Cohereは、Tiny Ayaがオンラインで十分に表現されていない言語間の安定性を維持するよう設計されていることを強調しています。技術報告書では、トークナイゼーションの改善、合成データの自然化、ターゲットを絞ったマージ戦略などの手法を紹介し、これらが言語のニュアンスを保持しつつ効率的な学習を可能にしていると述べています。なお、トレーニングは「単一の64 H100 GPUクラスター上で完了した」と記されており、大規模な計算資源を必要としない効率性に焦点を当てていることが示されています。
Tiny Ayaは一貫した性能と効率的なトークナイゼーション、地域特化モデルで多言語AIを強化
性能評価では、Tiny Ayaは同程度のサイズの既存の多言語モデルと比較して、特に翻訳、オープンエンド生成、資源の少ない言語の数学的推論において優れていることが示されています。Cohereは、モデルの一貫した挙動を強調し、狭いベンチマーク最適化ではなく、実用性を重視したシステムであると説明しています。トークナイザーの設計により、スクリプト間の断片化が減少し、1文あたりのトークン数が少なくなり、ローカルハードウェア上での推論効率が向上しています。資料には、Tiny Ayaが「評価対象のほとんどの言語で最も効率的なトークナイゼーションを実現している」と記されており、アクセス性向上を目指していることがわかります。
モデル群には、地域に焦点を当てたバリアントとしてTinyAya‑Earth、TinyAya‑Fire、TinyAya‑Waterがあり、それぞれ異なる言語群に最適化されつつも、グローバルな適用性を維持しています。Cohereはこれらのモデルを、コミュニティ主導の開発の基盤と位置付けており、新興言語や新しいドメイン、地域特化の評価フレームワークに適応させることを奨励しています。資料の最後では、「多くの声によって形作られる多様なモデルのエコシステム」が構築されることを展望しており、単一の支配的な多言語システムではない未来を描いています。