Tether meluncurkan kerangka kerja BitNet LoRA lintas platform, model dengan parameter miliaran dapat diselesaikan penyesuaian halus pada perangkat kelas konsumen

Berita Techub News, Tether mengumumkan peluncuran kerangka fine-tuning BitNet LoRA lintas platform di QVAC Fabric, yang mengoptimalkan pelatihan dan inferensi Microsoft BitNet (1-bit LLM). Kerangka ini secara signifikan mengurangi kebutuhan daya komputasi dan memori, memungkinkan model dengan miliaran parameter untuk dilatih dan di-fine-tune di laptop, GPU konsumen, dan ponsel pintar. Solusi ini pertama kali memungkinkan fine-tuning model BitNet di GPU mobile (termasuk Adreno, Mali, dan Apple Bionic). Pengujian menunjukkan bahwa model 125M parameter dapat di-fine-tune dalam sekitar 10 menit, model 1B sekitar satu jam, dan bahkan dapat diperluas ke model 13B parameter di ponsel. Selain itu, kerangka ini mendukung perangkat keras heterogen seperti Intel, AMD, dan Apple Silicon, serta pertama kali memungkinkan fine-tuning LoRA 1-bit LLM di perangkat non-NVIDIA. Dari segi performa, inference model BitNet di GPU mobile meningkat 2 hingga 11 kali dibandingkan CPU, dan penggunaan memori GPU turun hingga sekitar 77,8% dibandingkan model 16-bit tradisional. Tether menyatakan bahwa teknologi ini berpotensi mengurangi ketergantungan pada kekuatan komputasi tinggi dan infrastruktur cloud, mendorong pelatihan AI menuju desentralisasi dan lokal, serta menyediakan dasar untuk aplikasi baru seperti federated learning.