A eficiência de inferência do modelo GPT de código aberto a operar na GPU Blackwell melhorou significativamente em apenas um mês — a capacidade de processamento de tokens por unidade de custo aumentou 33%. Este avanço deve-se ao trabalho de otimização do projeto vLLM e ao suporte de hardware da NVIDIA, reduzindo diretamente a barreira de custo para a implantação de grandes modelos de linguagem. Para a camada de aplicações Web3, isso significa que os custos de infraestrutura de inferência de IA continuam a diminuir, impulsionando ainda mais a expansão dos limites de viabilidade de aplicações de IA na cadeia e contratos inteligentes.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
8 gostos
Recompensa
8
3
Republicar
Partilhar
Comentar
0/400
GateUser-e51e87c7
· 20m atrás
Um aumento de 33% na eficiência em um mês, essa velocidade é realmente impressionante, esta onda do vLLM é de fato feroz.
Ver originalResponder0
CrashHotline
· 12-20 01:40
33% de aumento em um mês? Esta turma do vLLM é realmente forte, os custos de IA na cadeia estão caindo drasticamente.
Ver originalResponder0
GlueGuy
· 12-20 01:40
Caramba, uma melhoria de 33% na eficiência em um mês? Quando é que esse TPS também vai ser tão impressionante assim?
A eficiência de inferência do modelo GPT de código aberto a operar na GPU Blackwell melhorou significativamente em apenas um mês — a capacidade de processamento de tokens por unidade de custo aumentou 33%. Este avanço deve-se ao trabalho de otimização do projeto vLLM e ao suporte de hardware da NVIDIA, reduzindo diretamente a barreira de custo para a implantação de grandes modelos de linguagem. Para a camada de aplicações Web3, isso significa que os custos de infraestrutura de inferência de IA continuam a diminuir, impulsionando ainda mais a expansão dos limites de viabilidade de aplicações de IA na cadeia e contratos inteligentes.