Tether เปิดตัวกรอบการฝึกอบรม AI สำหรับสมาร์ทโฟนและ GPU ผู้บริโภค

Tether ได้ประกาศกรอบการฝึก AI ใหม่ ซึ่งอนุญาตให้ปรับแต่งโมเดลภาษาใหญ่ได้โดยตรงบนอุปกรณ์ผู้บริโภค เช่น สมาร์ทโฟนและ GPU ที่ไม่ใช่ของ Nvidia ระบบนี้ ซึ่งอยู่บนแพลตฟอร์ม QVAC ใช้ประโยชน์จากสถาปัตยกรรม BitNet ของ Microsoft ร่วมกับเทคนิค LoRA เพื่อช่วยลดความต้องการหน่วยความจำและต้นทุนการคำนวณอย่างมาก

ตามคำกล่าวของ Tether เฟรมเวิร์กนี้รองรับหลายแพลตฟอร์ม เข้ากันได้กับชิปจาก AMD, Intel, Apple Silicon และ GPU สำหรับมือถือของ Qualcomm นักวิศวกรสามารถปรับแต่งโมเดลที่มีพารามิเตอร์ถึง 1 พันล้านบนสมาร์ทโฟนภายในเวลาน้อยกว่า 2 ชั่วโมง และสามารถขยายไปถึง 13 พันล้านพารามิเตอร์บนอุปกรณ์เคลื่อนที่ได้เช่นกัน

เทคโนโลยี BitNet ช่วยลดการใช้ VRAM ลงถึง 77.8% เมื่อเทียบกับโมเดล 16 บิต พร้อมทั้งเร่งความเร็วในการประมวลผลบน GPU สำหรับมือถือ Tether ยังเน้นย้ำถึงศักยภาพในการใช้งาน เช่น การเรียนรู้แบบรวมศูนย์ (federated learning) เพื่อลดการพึ่งพาคลาวด์