Khung LoRA của Tether’s BitNet cho phép đào tạo mô hình AI trên điện thoại thông minh, GPU và thiết bị tiêu dùng.
Hệ thống giảm tiêu thụ bộ nhớ và tăng hiệu suất, với yêu cầu VRAM thấp hơn tới 77,8%.
Người dùng có thể tinh chỉnh các mô hình lên tới 13 tỷ tham số trên thiết bị di động, mở rộng khả năng AI tại biên.

Tether công bố một khung AI mới qua nền tảng QVAC Fabric, cho phép đào tạo BitNet LoRA đa nền tảng trên thiết bị tiêu dùng. Cập nhật này cho phép các mô hình hàng tỷ tham số chạy trên điện thoại thông minh và GPU. CEO Paolo Ardoino chia sẻ về sự phát triển này, nhấn mạnh giảm chi phí và mở rộng truy cập các công cụ AI.

Đào Tạo AI Đa Nền Tảng Mở Rộng Truy Cập

Cập nhật QVAC Fabric giới thiệu hỗ trợ đa nền tảng cho tinh chỉnh BitNet LoRA. Điều này cho phép các mô hình AI chạy trên các phần cứng và hệ điều hành khác nhau.

Đặc biệt, khung hỗ trợ GPU từ AMD, Intel và Apple, bao gồm cả chip di động. Nó cũng sử dụng các backend Vulkan và Metal để đảm bảo tương thích.

Theo Tether, đây là lần đầu tiên BitNet LoRA hoạt động trên phạm vi rộng như vậy của các thiết bị. Do đó, người dùng có thể đào tạo mô hình trên phần cứng hàng ngày.

Hiệu Suất Tăng Trên Phần Cứng Tiêu Dùng

Hệ thống giảm nhu cầu bộ nhớ và tính toán bằng cách kết hợp các kỹ thuật BitNet và LoRA. BitNet nén trọng số mô hình thành các giá trị đơn giản, trong khi LoRA giới hạn các tham số có thể đào tạo.

Cùng nhau, các phương pháp này giảm đáng kể yêu cầu phần cứng. Ví dụ, inference GPU nhanh gấp hai đến mười một lần so với CPU trên thiết bị di động.

Ngoài ra, mức tiêu thụ bộ nhớ giảm mạnh so với các mô hình chính xác đầy đủ. Các bài kiểm tra cho thấy sử dụng VRAM ít hơn tới 77,8% so với các hệ thống tương tự.

Tether cũng đã thể hiện khả năng tinh chỉnh trên điện thoại thông minh. Các thử nghiệm cho thấy mô hình 125 triệu tham số được đào tạo trong vài phút trên các thiết bị như Samsung S25.

Thiết Bị Di Động Và Biên Xử Lý Xử Lý Các Mô Hình Lớn Hơn

Khung này cho phép các mô hình lớn hơn chạy trên các thiết bị biên. Tether báo cáo đã thành công trong việc tinh chỉnh các mô hình lên tới 13 tỷ tham số trên iPhone 16.

Hơn nữa, hệ thống hỗ trợ GPU di động như Adreno, Mali và Apple Bionic. Điều này mở rộng phát triển AI ra ngoài phần cứng chuyên dụng.

Theo Paolo Ardoino, phát triển AI thường phụ thuộc vào hạ tầng đắt đỏ. Ông nói rằng khung này chuyển khả năng về phía các thiết bị địa phương.

Tether bổ sung rằng hệ thống giảm sự phụ thuộc vào các nền tảng tập trung. Nó cũng cho phép người dùng đào tạo và xử lý dữ liệu trực tiếp trên thiết bị của họ.

Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.