Hiệu quả suy luận của mô hình mã nguồn mở GPT chạy trên GPU Blackwell đã được cải thiện đáng kể chỉ trong một tháng - sức mạnh xử lý mã thông báo trên mỗi đơn vị chi phí đã tăng 33%. Bước đột phá này là do công việc tối ưu hóa các dự án vLLM và hỗ trợ phần cứng của NVIDIA, trực tiếp làm giảm ngưỡng chi phí triển khai mô hình ngôn ngữ lớn. Đối với lớp ứng dụng Web3, điều này có nghĩa là chi phí của cơ sở hạ tầng suy luận AI tiếp tục giảm, điều này sẽ thúc đẩy hơn nữa việc mở rộng ranh giới khả thi của các ứng dụng AI on-chain và hợp đồng thông minh.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • 2
  • Đăng lại
  • Retweed
Bình luận
0/400
CrashHotlinevip
· 12-20 01:40
33% tăng trong một tháng là xong? Đám bạn vLLM này thật là ghê, chi phí AI trên chuỗi giảm thẳng đứng đấy
Xem bản gốcTrả lời0
GlueGuyvip
· 12-20 01:40
Chết rồi, tăng hiệu suất 33% trong một tháng? Khi nào thì tps này cũng có thể mạnh như vậy nhỉ
Xem bản gốcTrả lời0
  • Gate Fun hotXem thêm
  • Vốn hóa:$3.57KNgười nắm giữ:2
    0.00%
  • Vốn hóa:$3.52KNgười nắm giữ:1
    0.00%
  • Vốn hóa:$3.57KNgười nắm giữ:2
    0.04%
  • Vốn hóa:$3.53KNgười nắm giữ:1
    0.00%
  • Vốn hóa:$3.58KNgười nắm giữ:2
    0.04%
  • Ghim