成本与延迟预算
用途:给多 Agent 系统设定可执行的预算约束,而不是事后惊讶于账单
成本构成
「成本构成」小节链接| 项 | 说明 | 控制手段 |
|---|---|---|
| Token | 输入(上下文长度)× 调用次数 + 输出 | 上下文瘦身、缓存、并行度控制 |
| 工具调用 | 检索、执行、外部 API | 结果缓存、去重、限制次数 |
| 重试 | 失败重跑会成倍放大 | 上限 + 退避 + 失败归因 |
| 验证 | 测试执行、CI、变异测试 | 分层验证(先便宜后昂贵)、等价复用 |
| 人时 | 评审与排障 | 门禁减少人肉核对,可观测减少定位时间 |
经验:多 Agent 的总成本常是单 Agent 的 3-10 倍,而收益未必同比。预算必须作为设计约束,而不是运行结果。
预算维度与硬上限
「预算维度与硬上限」小节链接| 维度 | 建议上限形式 |
|---|---|
| 单任务 token | 每 Agent 每步上限 + 任务总上限 |
| 单任务步数 | 最大迭代次数(防自说自话循环) |
| 墙钟时间 | 端到端超时 + 每节点超时 |
| 并发度 | 同时在跑的 Agent 数(保护下游配额) |
| 成本 | 每任务金额上限,超限自动 BLOCKED 并要求审批 |
无进展检测:连续 N 步产物哈希/结论不变即终止,比单纯步数上限更有效。
延迟预算分配
「延迟预算分配」小节链接端到端目标 = Σ(关键路径节点耗时) + 调度开销 + 验证耗时- 并行只压缩关键路径上的部分,瓶颈常在最后的集成与验证。
- 验证耗时往往超过生成耗时:门禁、测试、CI 排队要单独预算。
- 冷启动(环境准备、依赖下载)在短任务里占比很高,用缓存与常驻池缓解。
降本手段(按性价比)
「降本手段(按性价比)」小节链接- 上下文瘦身:去掉无关历史与文件全文,改传引用(通常是最有效的一招)。
- 模型分层:机械步骤用小/快模型,判断步骤用强模型;路由规则要可评估。
- 缓存与复用:相同输入指纹复用结果(含门禁结论)。
- 减少往返:把多次小调用合成一次批量任务。
- 提前失败:便宜的静态检查放最前,避免昂贵生成后才发现范围越界。
- 限制并行:只在有真实并行收益时扇出,避免“为了并行而并行”。
观测
「观测」小节链接必须有的指标:每任务与每节点的 token 输入/输出、调用次数、重试次数、耗时分布(P50/P95)、成本累计、失败原因分布、缓存命中率。
没有这些数字,就无法回答“多 Agent 是否值得”——这也是评测与基准部分要解决的问题。
常见误区
「常见误区」小节链接| 误区 | 修正 | | — | — | — | | 只算模型调用费 | 忽略验证、重试与人时 | | 无限重试直到成功 | 设上限并归因,否则成本失控 | | 并行度拉满 | 下游配额与锁竞争反而变慢 | | 用更强模型解决所有步骤 | 分层路由 + 明确判据 | | 无预算告警 | 超限自动阻塞并通知,避免月底惊喜 |
延伸阅读
「延伸阅读」小节链接- 本站:编排拓扑、任务分解粒度、评测与基准
- 各推理服务的定价与限流公开文档