A eficiência de inferência do modelo GPT de código aberto a operar na GPU Blackwell melhorou significativamente em apenas um mês — a capacidade de processamento de tokens por unidade de custo aumentou 33%. Este avanço deve-se ao trabalho de otimização do projeto vLLM e ao suporte de hardware da NVIDIA, reduzindo diretamente a barreira de custo para a implantação de grandes modelos de linguagem. Para a camada de aplicações Web3, isso significa que os custos de infraestrutura de inferência de IA continuam a diminuir, impulsionando ainda mais a expansão dos limites de viabilidade de aplicações de IA na cadeia e contratos inteligentes.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
7 Curtidas
Recompensa
7
2
Repostar
Compartilhar
Comentário
0/400
CrashHotline
· 12-20 01:40
33% de aumento em um mês? Esta turma do vLLM é realmente forte, os custos de IA na cadeia estão caindo drasticamente.
Ver originalResponder0
GlueGuy
· 12-20 01:40
Caramba, uma melhoria de 33% na eficiência em um mês? Quando é que esse TPS também vai ser tão impressionante assim?
A eficiência de inferência do modelo GPT de código aberto a operar na GPU Blackwell melhorou significativamente em apenas um mês — a capacidade de processamento de tokens por unidade de custo aumentou 33%. Este avanço deve-se ao trabalho de otimização do projeto vLLM e ao suporte de hardware da NVIDIA, reduzindo diretamente a barreira de custo para a implantação de grandes modelos de linguagem. Para a camada de aplicações Web3, isso significa que os custos de infraestrutura de inferência de IA continuam a diminuir, impulsionando ainda mais a expansão dos limites de viabilidade de aplicações de IA na cadeia e contratos inteligentes.