vkhosla 介紹 1-bit Bonsai 8B 模型,內存佔用僅1.15GB

robot
摘要生成中

ME News 訊息,4 月 1 日(UTC+8),近日,作者 vkhosla 在社交媒體上介紹了一個名為 1-bit Bonsai 8B 的 1 比特權重模型。據其介紹,該模型的記憶體佔用僅為 1.15 GB,並且其智能密度(intelligence density)據稱超過其全精度對應模型的 10 倍以上。文中觀點指出,在邊緣硬體上,該模型體積縮小了 14 倍,速度提升了 8 倍,能效提高了 5 倍,同時與其他模型相比仍保持競爭力。消息還提到,該模型的壓縮性更好、速度更快、體積更小、能效更高,且優於 Google 前一天宣布的模型。原文未提供模型的具體性能對比基準、發布方、技術實現細節或完整的評估結果。(來源:InFoQ)

查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 留言
  • 轉發
  • 分享
留言
請輸入留言內容
請輸入留言內容
暫無留言