L'efficacité de l'inférence des modèles GPT open source fonctionnant sur Blackwell GPU a connu une amélioration significative en seulement un mois — la capacité de traitement de tokens par unité de coût a augmenté de 33 %. Cette avancée est le fruit des optimisations du projet vLLM et du soutien matériel de NVIDIA, réduisant directement le seuil de coût pour le déploiement de grands modèles de langage. Pour la couche applicative Web3, cela signifie que le coût de l'infrastructure d'inférence AI continue de diminuer, ce qui permettra d'élargir davantage les limites de faisabilité des applications AI sur la chaîne et des contrats intelligents.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • 2
  • Reposter
  • Partager
Commentaire
0/400
CrashHotlinevip
· 12-20 01:40
Une augmentation de 33 % en un mois ? Ces gars de vLLM sont vraiment forts, le coût de l'IA en chaîne diminue radicalement.
Voir l'originalRépondre0
GlueGuyvip
· 12-20 01:40
Putain, une augmentation de 33 % de l'efficacité en un mois ? Quand est-ce que ce TPS pourra aussi être aussi impressionnant ?
Voir l'originalRépondre0
  • Épingler
Trader les cryptos partout et à tout moment
qrCode
Scan pour télécharger Gate app
Communauté
Français (Afrique)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)