Efisiensi inferensi model open-source GPT yang berjalan di GPU Blackwell mengalami peningkatan signifikan dalam waktu hanya satu bulan—kemampuan pemrosesan token per unit biaya meningkat sebesar 33%. Terobosan ini berkat pekerjaan optimisasi dari proyek vLLM dan dukungan perangkat keras dari NVIDIA, yang secara langsung menurunkan ambang biaya untuk penerapan model bahasa besar. Bagi lapisan aplikasi Web3, ini berarti biaya infrastruktur inferensi AI terus menurun, yang akan mendorong perluasan batas kelayakan aplikasi AI on-chain dan kontrak pintar.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
7 Suka
Hadiah
7
2
Posting ulang
Bagikan
Komentar
0/400
CrashHotline
· 12-20 01:40
33% peningkatan dalam satu bulan? Tim vLLM ini benar-benar hebat, biaya AI di blockchain menurun secara drastis
Lihat AsliBalas0
GlueGuy
· 12-20 01:40
Sial, peningkatan efisiensi 33% dalam sebulan? Kapan TPS juga bisa sekuat ini
Efisiensi inferensi model open-source GPT yang berjalan di GPU Blackwell mengalami peningkatan signifikan dalam waktu hanya satu bulan—kemampuan pemrosesan token per unit biaya meningkat sebesar 33%. Terobosan ini berkat pekerjaan optimisasi dari proyek vLLM dan dukungan perangkat keras dari NVIDIA, yang secara langsung menurunkan ambang biaya untuk penerapan model bahasa besar. Bagi lapisan aplikasi Web3, ini berarti biaya infrastruktur inferensi AI terus menurun, yang akan mendorong perluasan batas kelayakan aplikasi AI on-chain dan kontrak pintar.