На GPU Blackwell за короткий місяць значно покращилася ефективність обчислень відкритих моделей GPT — обробка токенів на одиницю вартості зросла на 33%. Цей прорив став можливим завдяки оптимізаційним роботам проекту vLLM і підтримці апаратного забезпечення NVIDIA, що безпосередньо знизило поріг витрат на розгортання великих мовних моделей. Для рівня застосунків Web3 це означає подальше зниження витрат на інфраструктуру AI, що сприятиме розширенню меж можливостей on-chain AI застосунків і смарт-контрактів.

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • 2
  • Репост
  • Поділіться
Прокоментувати
0/400
CrashHotlinevip
· 12-20 01:40
33% підвищення за місяць? vLLM ці хлопці справді круті, витрати на AI в мережі стрімко знижуються
Переглянути оригіналвідповісти на0
GlueGuyvip
· 12-20 01:40
Вау, підвищення ефективності на 33% за місяць? Коли ж цей TPS стане таким же крутим?
Переглянути оригіналвідповісти на0
  • Закріпити