Kerangka kerja LoRA BitNet dari Tether memungkinkan pelatihan model AI di berbagai perangkat seperti ponsel pintar, GPU, dan perangkat konsumen.
Sistem ini mengurangi penggunaan memori dan meningkatkan kinerja, dengan kebutuhan VRAM hingga 77,8% lebih rendah.
Pengguna dapat menyempurnakan model hingga 13 miliar parameter di perangkat mobile, memperluas kemampuan AI edge.

Tether mengumumkan kerangka kerja AI baru melalui platform QVAC Fabric-nya, memungkinkan pelatihan BitNet LoRA lintas platform di perangkat konsumen. Pembaruan ini memungkinkan model dengan miliaran parameter berjalan di ponsel pintar dan GPU. CEO Paolo Ardoino berbagi perkembangan ini, menyoroti pengurangan biaya dan akses yang lebih luas ke alat AI.

Pelatihan AI Lintas Platform Memperluas Akses

Pembaruan QVAC Fabric memperkenalkan dukungan lintas platform untuk penyempurnaan BitNet LoRA. Ini memungkinkan model AI berjalan di berbagai perangkat keras dan sistem operasi.

Yang menarik, kerangka kerja ini mendukung GPU dari AMD, Intel, dan Apple, termasuk chipset mobile. Selain itu, menggunakan backend Vulkan dan Metal untuk kompatibilitas.

Menurut Tether, ini adalah kali pertama BitNet LoRA berfungsi di berbagai perangkat tersebut. Akibatnya, pengguna dapat melatih model di perangkat keras sehari-hari.

Peningkatan Kinerja di Perangkat Konsumen

Sistem ini mengurangi kebutuhan memori dan komputasi dengan menggabungkan teknik BitNet dan LoRA. BitNet mengompresi bobot model menjadi nilai yang disederhanakan, sementara LoRA membatasi parameter yang dapat dilatih.

Bersama-sama, metode ini secara signifikan menurunkan kebutuhan perangkat keras. Misalnya, inferensi GPU berjalan dua hingga sebelas kali lebih cepat daripada CPU di perangkat mobile.

Selain itu, penggunaan memori menurun tajam dibandingkan model presisi penuh. Benchmark menunjukkan penggunaan VRAM hingga 77,8% lebih sedikit dibandingkan sistem sejenis.

Tether juga menunjukkan penyempurnaan model di ponsel pintar. Pengujian menunjukkan model dengan 125 juta parameter dilatih dalam hitungan menit di perangkat seperti Samsung S25.

Perangkat Mobile dan Edge Menangani Model Lebih Besar

Kerangka kerja ini memungkinkan model yang lebih besar dijalankan di perangkat edge. Tether melaporkan keberhasilan penyempurnaan model hingga 13 miliar parameter di iPhone 16.

Selain itu, sistem ini mendukung GPU mobile seperti Adreno, Mali, dan Apple Bionic. Ini memperluas pengembangan AI di luar perangkat keras khusus.

Menurut Paolo Ardoino, pengembangan AI sering bergantung pada infrastruktur mahal. Ia mengatakan kerangka kerja ini mengalihkan kemampuan ke perangkat lokal.

Tether menambahkan bahwa sistem ini mengurangi ketergantungan pada platform terpusat. Ini juga memungkinkan pengguna melatih dan memproses data langsung di perangkat mereka.

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.