A eficiência de inferência do modelo GPT de código aberto a operar na GPU Blackwell melhorou significativamente em apenas um mês — a capacidade de processamento de tokens por unidade de custo aumentou 33%. Este avanço deve-se ao trabalho de otimização do projeto vLLM e ao suporte de hardware da NVIDIA, reduzindo diretamente a barreira de custo para a implantação de grandes modelos de linguagem. Para a camada de aplicações Web3, isso significa que os custos de infraestrutura de inferência de IA continuam a diminuir, impulsionando ainda mais a expansão dos limites de viabilidade de aplicações de IA na cadeia e contratos inteligentes.

Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
  • Recompensa
  • 2
  • Repostar
  • Compartilhar
Comentário
0/400
CrashHotlinevip
· 12-20 01:40
33% de aumento em um mês? Esta turma do vLLM é realmente forte, os custos de IA na cadeia estão caindo drasticamente.
Ver originalResponder0
GlueGuyvip
· 12-20 01:40
Caramba, uma melhoria de 33% na eficiência em um mês? Quando é que esse TPS também vai ser tão impressionante assim?
Ver originalResponder0
  • Marcar
Negocie criptomoedas a qualquer hora e em qualquer lugar
qrCode
Escaneie o código para baixar o app da Gate
Comunidade
Português (Brasil)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)