На GPU Blackwell за короткий месяц значительно повысилась эффективность инференса открытых моделей GPT — производительность по обработке токенов на единицу стоимости увеличилась на 33%. Этот прорыв стал возможен благодаря оптимизациям проекта vLLM и аппаратной поддержке NVIDIA, что напрямую снизило порог стоимости развертывания больших языковых моделей. Для уровня Web3 это означает дальнейшее снижение затрат на инфраструктуру AI-инференса, что будет способствовать расширению границ реализуемости on-chain AI-приложений и умных контрактов.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
8 Лайков
Награда
8
3
Репост
Поделиться
комментарий
0/400
GateUser-e51e87c7
· 5ч назад
Увеличение эффективности на 33% за месяц, такая скорость действительно впечатляет, vLLM в этот раз действительно круто.
Посмотреть ОригиналОтветить0
CrashHotline
· 12-20 01:40
33% повышение за один месяц? Эта команда vLLM действительно крутая, затраты на AI в блокчейне резко снижаются
Посмотреть ОригиналОтветить0
GlueGuy
· 12-20 01:40
Черт возьми, повышение эффективности на 33% за месяц? Когда же этот TPS станет таким же крутым
На GPU Blackwell за короткий месяц значительно повысилась эффективность инференса открытых моделей GPT — производительность по обработке токенов на единицу стоимости увеличилась на 33%. Этот прорыв стал возможен благодаря оптимизациям проекта vLLM и аппаратной поддержке NVIDIA, что напрямую снизило порог стоимости развертывания больших языковых моделей. Для уровня Web3 это означает дальнейшее снижение затрат на инфраструктуру AI-инференса, что будет способствовать расширению границ реализуемости on-chain AI-приложений и умных контрактов.