A eficiência de inferência do modelo GPT de código aberto a operar na GPU Blackwell melhorou significativamente em apenas um mês — a capacidade de processamento de tokens por unidade de custo aumentou 33%. Este avanço deve-se ao trabalho de otimização do projeto vLLM e ao suporte de hardware da NVIDIA, reduzindo diretamente a barreira de custo para a implantação de grandes modelos de linguagem. Para a camada de aplicações Web3, isso significa que os custos de infraestrutura de inferência de IA continuam a diminuir, impulsionando ainda mais a expansão dos limites de viabilidade de aplicações de IA na cadeia e contratos inteligentes.

Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 3
  • Republicar
  • Partilhar
Comentar
0/400
GateUser-e51e87c7vip
· 20m atrás
Um aumento de 33% na eficiência em um mês, essa velocidade é realmente impressionante, esta onda do vLLM é de fato feroz.
Ver originalResponder0
CrashHotlinevip
· 12-20 01:40
33% de aumento em um mês? Esta turma do vLLM é realmente forte, os custos de IA na cadeia estão caindo drasticamente.
Ver originalResponder0
GlueGuyvip
· 12-20 01:40
Caramba, uma melhoria de 33% na eficiência em um mês? Quando é que esse TPS também vai ser tão impressionante assim?
Ver originalResponder0
  • Fixar
Negocie cripto em qualquer lugar e a qualquer hora
qrCode
Digitalizar para transferir a aplicação Gate
Novidades
Português (Portugal)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)