跳转到内容

人机验收协议

用途:把“Agent 交付 → 人验收”变成有明确契约的流程

  1. 交付什么:范围与形态(代码 + 测试 + 回执 + 说明)。
  2. 怎么算完成:证据等级与判定值,事先约定而不是事后争论。
  3. 人看什么:评审人只需处理需要判断力的部分。
  4. 不确定时怎么办:明确升级路径,避免“猜着做”。
项 内容 校验方
变更说明 做了什么、为什么、影响面、未做的事 人工
差异 commit 哈希、文件与行数、关键符号 门禁(范围检查)
证据 各检查命令与完整输出、测试报告、覆盖率/变异指标 门禁
判定 四值结论与不通过原因 门禁生成
风险与回滚 已知风险、灰度与回滚方式 人工
待办 明确未覆盖的部分(不得混入“已完成”) 人工
1 任务下发:目标 + 验收标准 + 必需证据等级(写清楚)
2 Agent 执行并自检(本地门禁提前反馈)
3 提交:门禁在权威环境执行 → 生成回执与判定
4 判定分流:
PASS → 人工评审语义与需求满足
FAIL → 退回,附失败证据与定位线索
BLOCKED → 环境/依赖责任方处理,不计入交付
UNVERIFIED → 补证据后重跑,禁止人工"看着没问题就合"
5 合并与记录:结论、例外、耗时进入统计
  1. 验收标准前置:任务描述里必须含“什么证据算完成”,否则 Agent 会以最少努力满足字面要求。
  2. 禁止降级合并:人工不得把 UNVERIFIED 判成通过;确需例外走审批并计入例外率。
  3. 不确定就问,不要猜:给 Agent 明确的“求助出口”(列出待澄清问题并停止),比让它自行假设更安全。
  4. 小步交付:单次变更范围可控(可评审的 diff 规模),大范围任务拆分批。
  5. 失败可归因:每个不通过项要能回答“缺什么、谁负责、怎么补”。
指标 含义 用途
一次通过率 首次提交即 PASS 的比例 衡量任务描述与门禁清晰度
未验证率 UNVERIFIED 占比 流程漏洞指标(越高说明证据要求没落地)
例外率 审批跳过/人工放行的比例 门禁被绕过的程度
返工轮次 平均退回次数 需求清晰度与 Agent 能力
人工评审耗时占比 花在核对事实上的时间比例 门禁有效性的直接体现

目标不是让 Agent 一次通过率高,而是让“未验证率与例外率趋零”:前者可能靠降低标准达成,后者才是真正的可信度提升。

误区 修正
验收标准口头化 写进任务模板并作为门禁输入
人肉核对事实(文件是否存在) 交给门禁,人只看语义
时间紧就跳过门禁 走例外审批并统计,不能静默放行
大范围一次交付 拆分小批,可评审可回滚
只看通过率 同时盯未验证率与例外率
  • 本站:四值判定模型、fail-closed 门禁设计、完成的证据层级
  • 持续交付与部署流水线中“质量门禁(quality gate)“的公开实践资料