
这周AI 云平台 Modal 宣布将在 Sandboxes 产品中支持 NVIDIA 的 Vera CPU。这个消息看起来是个硬件新闻,但背后更是 Agent workload 和传统模型调用之间一个蛮关键的差别:模型负责思考,Agent 还要执行代码、调用工具、检索文件、安装依赖,并在隔离环境中验证结果。这些动作并不全发生在 GPU 上,很多实际工作由 CPU 完成,尤其在实际业务流程中z
Modal 的测试也说明了这一点。在低负载、单任务环境里,Vera 相比其他 CPU 并非始终有明显优势;但当数百个不同任务同时运行时,它的吞吐量最高达到同类 x86 服务器的两倍,而且没有明显牺牲单个任务的 latency。Modal 给出的解释是,Agent workload 很不稳定:一个任务可能大部分时间都在等待模型,随后突然执行 npm install、编译代码或搜索大量文件。真正影响效率的,是 CPU 在高并发和资源争抢下能不能扛住。
NVIDIA 对 Vera 的定位也很直接:它不是用来替代 GPU 训练模型,而是处理 Agent 推理循环之外的 code execution、tool use、sandbox、数据处理和 orchestration。换句话说,当 AI 从“生成答案”变成“完成任务”,基础设施的计算单元也随之改变。
那随之可以推理的是,Agent 产品的 COGS 不能只看 token 和模型价格。 一个模型即使单次调用更便宜,如果工具执行慢、Sandbox 等待时间长,或者失败后不断重试,完成一个 outcome 的总成本仍然可能很高。对用户来说,这也直接影响体验:一个需要等待五分钟的 Agent,和一个几十秒内完成任务的 Agent,实际上是两个不同的产品。
对做 B2B AI 的创始人,需要先思考几件事:是否已经按完整任务追踪模型、CPU、工具调用和重试成本;客户支付的是一次模型调用,还是一个真正完成的工作;底层基础设施是否支持在不同模型、芯片和云平台之间切换。早期用单一供应商换取速度没问题,但如果业务开始规模化,基础设施选择最终会进入毛利率和交付能力。
所以真正值得重新计算的,不只是每百万 tokens 的价格,而是一个 AI Agent 从开始思考到真正把事情做完,究竟消耗了多少资源。
暂时没有回复
来日方长 敬请期待
Copyright © 2026 RADHOST PTE. LTD. (UEN: 202450723N). All Rights Reserved.