红帽,在“代理型AI”扩散背景下将信任与推理标准置于前沿…押注vLLM

robot
摘要生成中

随着企业将"代理型AI"投入实际工作,关注焦点正从模型性能转向"信任"。分析指出,由于AI能够编写代码、触及系统甚至执行实质性操作,如何确保安全、治理和稳定性已成为核心课题。

红帽首席技术官(CTO)兼全球工程高级副总裁克里斯·赖特(Chris Wright)在红帽峰会2026现场表示:"当我们要让代理在真实业务中采取行动时,如何信任这个AI变得至关重要。"他特别强调,最小权限授予、沙盒环境以及大规模代理管理体系是必要条件。

红帽押注构建以vLLM为核心的"标准推理层"

作为降低企业AI复杂性的解决方案,红帽提出了"标准化推理层"。构想是,正如过去的Linux和Kubernetes成为行业共同基础,如今开源AI推理引擎vLLM也应承担这一角色。

为此,红帽通过收购Neural Magic获得了量化与推理性能优化能力。克里斯·赖特解释道:“模型供应商甚至在公开模型之前,就已经率先针对vLLM进行开发。这种标准化正在提升整个生态系统的效率,也成为了企业内部提升运营效率的基础。”

从企业角度来看,这具有重要意义,因为它能减少基础设施选择的不确定性。只有明确了在何种基础上运行模型,才能降低开发、部署和维护成本。归根结底,开源AI的信任不仅关乎技术伦理,也与实际运行环境中的"可预测性"息息相关。

推理成本,如今已成为董事会关注的经营变量

随着AI的普及,"推理成本"也正成为重要的经营指标。由于持续运行大型语言模型所需的电力和半导体成本不断增加,企业正从一味使用最强大模型,转向针对不同业务寻找最高效的组合方案。

克里斯·赖特表示,应根据具体任务选择性价比和能效比最优的硬件和模型。换言之,对所有工作都采用同一种AI的方式可能效率低下。简单任务可能更适合小模型,而复杂判断则需要大模型。

这一趋势加大了AI基础设施走向"异构架构"而非"单一架构"的可能性。因为云、本地部署以及工厂现场等边缘环境将被混合使用,硬件也可能从单一的GPU扩展到多种组合。红帽在此节点上,期待其平台战略的持续价值。

"可信AI"之争,正向平台型企业蔓延

此次发言表明,AI市场竞争已不再仅由模型性能决定。企业客户真正需要的,并非一个更聪明的模型,而是一个可信且可控的执行环境。

特别是在成百上千个AI代理同时运行的环境中,安全策略、权限管理、可审计性等因素变得不可或缺。这也是行业像Linux和Kubernetes时代一样,再次寻求共同标准的原因所在。

最终,开源AI的信任很可能成为决定未来企业AI普及速度的关键条件。随着标准化推理层和异构基础设施战略的确立,企业有望更快地将AI从实验阶段推进到实际生产环境。

TP AI 注意事项 本文基于 TokenPost.ai 的语言模型进行了摘要。正文主要内容可能被省略或与事实不符。

此页面可能包含第三方内容,仅供参考(非陈述/保证),不应被视为 Gate 认可其观点表述,也不得被视为财务或专业建议。详见声明
  • 赞赏
  • 评论
  • 1
  • 分享
评论
请输入评论内容
请输入评论内容
暂无评论