跳转到内容

成本与延迟预算

用途:给多 Agent 系统设定可执行的预算约束,而不是事后惊讶于账单

项 说明 控制手段
Token 输入(上下文长度)× 调用次数 + 输出 上下文瘦身、缓存、并行度控制
工具调用 检索、执行、外部 API 结果缓存、去重、限制次数
重试 失败重跑会成倍放大 上限 + 退避 + 失败归因
验证 测试执行、CI、变异测试 分层验证(先便宜后昂贵)、等价复用
人时 评审与排障 门禁减少人肉核对,可观测减少定位时间

经验:多 Agent 的总成本常是单 Agent 的 3-10 倍,而收益未必同比。预算必须作为设计约束,而不是运行结果。

维度 建议上限形式
单任务 token 每 Agent 每步上限 + 任务总上限
单任务步数 最大迭代次数(防自说自话循环)
墙钟时间 端到端超时 + 每节点超时
并发度 同时在跑的 Agent 数(保护下游配额)
成本 每任务金额上限,超限自动 BLOCKED 并要求审批

无进展检测:连续 N 步产物哈希/结论不变即终止,比单纯步数上限更有效。

端到端目标 = Σ(关键路径节点耗时) + 调度开销 + 验证耗时
  • 并行只压缩关键路径上的部分,瓶颈常在最后的集成与验证。
  • 验证耗时往往超过生成耗时:门禁、测试、CI 排队要单独预算。
  • 冷启动(环境准备、依赖下载)在短任务里占比很高,用缓存与常驻池缓解。
  1. 上下文瘦身:去掉无关历史与文件全文,改传引用(通常是最有效的一招)。
  2. 模型分层:机械步骤用小/快模型,判断步骤用强模型;路由规则要可评估。
  3. 缓存与复用:相同输入指纹复用结果(含门禁结论)。
  4. 减少往返:把多次小调用合成一次批量任务。
  5. 提前失败:便宜的静态检查放最前,避免昂贵生成后才发现范围越界。
  6. 限制并行:只在有真实并行收益时扇出,避免“为了并行而并行”。

必须有的指标:每任务与每节点的 token 输入/输出、调用次数、重试次数、耗时分布(P50/P95)、成本累计、失败原因分布、缓存命中率。

没有这些数字,就无法回答“多 Agent 是否值得”——这也是评测与基准部分要解决的问题。

| 误区 | 修正 | | — | — | — | | 只算模型调用费 | 忽略验证、重试与人时 | | 无限重试直到成功 | 设上限并归因,否则成本失控 | | 并行度拉满 | 下游配额与锁竞争反而变慢 | | 用更强模型解决所有步骤 | 分层路由 + 明确判据 | | 无预算告警 | 超限自动阻塞并通知,避免月底惊喜 |

  • 本站:编排拓扑、任务分解粒度、评测与基准
  • 各推理服务的定价与限流公开文档