かつて暗号通貨界隈に限定されていた分散型AIの実験が、NvidiaのCEOジェンセン・フアンから公の賛同を得たことで、分散型モデルのトレーニングが主流に近づきつつある兆しを示しています。
チャマス・パリハピティヤはAll-Inポッドキャストのエピソードで、BittensorのCovenant-72Bを取り上げ、これを理論を超えた分散型AIの具体例として位置付けました。Bittensorは、分散型のブロックチェーン駆動ネットワークとして機能し、機械学習モデルやAI計算資源の交換とインセンティブを可能にするピアツーピアのマーケットプレイスを構築しています。
パリハピティヤはこの取り組みを平易に説明しました。「中央集権的なインフラを使わずに、大規模な言語モデル(LLM)を訓練することに成功した。独立した貢献者のネットワークによって支えられている」と述べ、「4十億パラメータのLLaMAモデルを完全に分散型で訓練したのは、かなりクレイジーな技術的偉業だ」と称賛しました。
この比較は馴染みのあるアナロジーで伝えられました。「ランダムな人々がおり、それぞれが少しずつシェアを持っている」とパリハピティヤは付け加え、世界中のアイドルハードウェアを活用した初期の分散コンピューティングプロジェクトを指しました。
フアンはこのアイデアを否定しませんでした。むしろ、AI市場のより広い枠組みを示唆し、分散型と独自開発のアプローチは相互排他的ではないと述べました。「これら二つはAかBかではなく、AとBだ」とフアンは言い、「間違いない」と付け加えました。
この二軸のビジョンは、AI内の拡大する分断と重なりを反映しています。一方にはChatGPTやClaude、Geminiのような高度に洗練されたクローズドシステムがあり、もう一方にはオープンウェイトで分散型のモデルがあり、開発者や組織が特定のニーズに合わせてシステムをカスタマイズできるようになっています。
フアンは両方の路線を重要視していることを明確にしました。「モデルは技術であって製品ではない」と述べ、多くのユーザーは自分たちでゼロから構築するのではなく、洗練された汎用システムに依存し続けるだろうと指摘しました。
同時に、カスタマイズが必須の産業も存在すると示しました。「これらの産業では、彼らのドメイン知識を…制御できる形で取り込む必要がある」とフアンは説明し、「それはオープンモデルからしか得られない」と付け加えました。
この声明は、Bittensorの得意分野にぴったり合致します。Covenant-72Bは、そのSubnet 3(Templar)を通じて開発され、これまでで最大規模の分散型訓練の一つを示し、70人以上の貢献者を標準的なインターネット接続で調整し、中央管理者なしで運用しています。
技術的には、モデルは境界を押し広げています。72億パラメータを持ち、約1.1兆トークンで訓練されたこのモデルは、圧縮通信プロトコルや分散データ並列処理などの革新を活用し、従来のデータセンター外でも訓練を可能にしています。
パフォーマンス指標は、単なる実験段階を超えていることを示唆しています。ベンチマーク結果は、既存の中央集権型モデルと競合しており、これがこのプロジェクトが暗号通貨ネイティブ以外の層からも注目を集めている理由の一つです。
市場も注目しました。発表後、パリハピティヤとフアンの動画がソーシャルメディアで拡散されてから、プロジェクトのトークンTAOは24%上昇しました。
それでも、フアンのコメントは、真のストーリーは破壊ではなく、両者の共存にあることを示唆しています。独自のAIシステムは一般ユーザーにとって支配的なままでしょうが、オープンで分散型のモデルは、特定の用途やコスト重視、主権を重視したアプリケーションで役割を果たしていくでしょう。
スタートアップにとって、フアンは実用的な戦略を示しました。「今投資しているスタートアップはすべてオープンソースから始まり、その後に独自の優位性を層として追加していく」と述べました。
言い換えれば、AIの未来は単一のアーキテクチャや哲学に属するものではなく、両方を使いこなし、いつどちらを使うべきかを知る者のものになるかもしれません。
分散型ネットワークの貢献者によって訓練された、72億パラメータの言語モデルです。中央集権的インフラは使用していません。
オープンと独自のAIモデルは共存し、「AとB」の関係にあると述べ、選択肢ではないと説明しました。
従来のデータセンター外でも大規模なAIモデルの訓練が可能であることを示し、インフラの前提に対する考え方に挑戦しています。
中央集権型プラットフォームと分散型モデルが異なる役割を担うハイブリッドな未来を支援します。