L'efficacité de l'inférence des modèles GPT open source fonctionnant sur Blackwell GPU a connu une amélioration significative en seulement un mois — la capacité de traitement de tokens par unité de coût a augmenté de 33 %. Cette avancée est le fruit des optimisations du projet vLLM et du soutien matériel de NVIDIA, réduisant directement le seuil de coût pour le déploiement de grands modèles de langage. Pour la couche applicative Web3, cela signifie que le coût de l'infrastructure d'inférence AI continue de diminuer, ce qui permettra d'élargir davantage les limites de faisabilité des applications AI sur la chaîne et des contrats intelligents.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
7 J'aime
Récompense
7
2
Reposter
Partager
Commentaire
0/400
CrashHotline
· 12-20 01:40
Une augmentation de 33 % en un mois ? Ces gars de vLLM sont vraiment forts, le coût de l'IA en chaîne diminue radicalement.
Voir l'originalRépondre0
GlueGuy
· 12-20 01:40
Putain, une augmentation de 33 % de l'efficacité en un mois ? Quand est-ce que ce TPS pourra aussi être aussi impressionnant ?
L'efficacité de l'inférence des modèles GPT open source fonctionnant sur Blackwell GPU a connu une amélioration significative en seulement un mois — la capacité de traitement de tokens par unité de coût a augmenté de 33 %. Cette avancée est le fruit des optimisations du projet vLLM et du soutien matériel de NVIDIA, réduisant directement le seuil de coût pour le déploiement de grands modèles de langage. Pour la couche applicative Web3, cela signifie que le coût de l'infrastructure d'inférence AI continue de diminuer, ce qui permettra d'élargir davantage les limites de faisabilité des applications AI sur la chaîne et des contrats intelligents.