Tether 的 BitNet LoRA 框架使 AI 模型能在智慧型手機、GPU 和消費者裝置上進行訓練。
該系統降低記憶體使用量並提升性能，VRAM 需求最多降低 77.8%。
用戶可以在行動裝置上微調高達 13B 參數的模型，擴展邊緣 AI 能力。
Tether 透過其 QVAC Fabric 平台宣布推出一個新的 AI 框架，實現消費者裝置上的跨平台 BitNet LoRA 訓練。此更新允許億級參數模型在智慧型手機和 GPU 上運行。CEO Paolo Ardoino 分享了這一進展，強調降低成本並擴大 AI 工具的普及。
QVAC Fabric 更新引入了對 BitNet LoRA 微調的跨平台支援。這使 AI 模型能在不同硬體和作業系統上運行。
值得注意的是，該框架支援來自 AMD、Intel 和 Apple 的 GPU，包括行動晶片組。它還使用 Vulkan 和 Metal 後端以確保相容性。
根據 Tether 的說法，這是首次讓 BitNet LoRA 在如此廣泛的裝置上運作。因此，用戶可以在日常硬體上訓練模型。
該系統通過結合 BitNet 和 LoRA 技術，降低記憶體和計算需求。BitNet 將模型權重壓縮為簡化值，而 LoRA 限制可訓練的參數數量。
這些方法共同大幅降低硬體需求。例如，在行動裝置上，GPU 推理速度比 CPU 快 2 到 11 倍。
此外，記憶體使用量也比全精度模型大幅下降。基準測試顯示 VRAM 使用量比類似系統少最多 77.8%。
Tether 也展示了在智慧型手機上的微調能力。測試顯示，像 Samsung S25 這樣的裝置在數分鐘內即可訓練出 1.25 億參數的模型。
該框架使較大模型能在邊緣裝置上運行。Tether 報告在 iPhone 16 上成功微調高達 130 億參數的模型。
此外，系統還支援 Adreno、Mali 和 Apple Bionic 等行動 GPU，擴展了 AI 開發範圍，超越了專用硬體。
根據 Paolo Ardoino 的說法，AI 開發常依賴昂貴的基礎設施。他表示，這個框架將能力轉向本地裝置。
Tether 補充說，該系統降低了對集中式平台的依賴，也讓用戶能直接在裝置上訓練和處理資料。
相關文章
