跳转到内容

这套流程有没有用,要看数字,而且看趋势比看绝对值重要。

指标 从哪里来 说明
Reviewer 一次通过率 周度健康报告的成绩单一节;health-metrics.sh 的 first_pass_pct 太低:任务拆得太大,或 Implementer 不行;太高(接近 100%):Reviewer 可能在放水
验收一次通过率 周度健康报告的成绩单一节(【验收不通过】次数) 低说明验收标准没写清,或实现和需求有偏差
升级到人的次数 每日摘要里的 blocked 越来越多:流程在空转,要看是哪类升级
各 agent 用量 周度健康报告的成绩单一节(按 agent 汇总,单列 autopilot 用量) 突然变高:任务变大了,或某个 agent 在打转;autopilot 那一行变高:某个定时任务太频繁
重复代码占比趋势 周度健康报告的整合审计一节(duplication_pct) 只降不升;涨了就是“向外长而不向内整合”
人工介入次数 health-metrics.sh 的 human_7d;规则复盘 人自己提交和评审代码的次数。这是判断规则有没有在变好的唯一客观指标,目标是下降;连续两周上升就该人工复盘

Auditor 每周跑,你也可以随时在仓库里跑:

终端窗口
.autoteam/scripts/health-metrics.sh # Markdown 表格
.autoteam/scripts/health-metrics.sh --json # JSON
字段 含义
duplication_pct 重复代码占比(jscpd,配置在 .jscpd.json)
legacy_touch_pct 近 30 天改过的文件里,上一次改动在一年以前的比例:老代码有没有人维护
rework_14d_pct 近 14 天改过的文件里,前 14 天也改过的比例:两周内返工
prs_7d.merged 近 7 天合并的 PR 数
prs_7d.size_p50 / size_p75 PR 改动行数的中位数和 75 分位
prs_7d.first_pass_pct 近 7 天合并的 PR 里,从没被打回的比例
prs_7d.avg_rejections 平均打回次数
human_7d.commits / human_7d.reviews 近 7 天人(AUTOTEAM_OWNER)自己提交、评审 PR 的次数
approvals_7d.auto.count / approvals_7d.human.count 近 7 天自主放行 / 人批准的任务数;以 backlog→todo 活动记录为准,Planner 代人操作需有 【人工授权放行】 评论
approvals_7d.auto.cancelled_pct / approvals_7d.human.cancelled_pct 各组批准任务后来被成员取消的比例
approvals_7d.auto.review_rejected_pct / approvals_7d.human.review_rejected_pct 各组有 PR 被要求修改(CHANGES_REQUESTED 或 【阻塞】)的任务比例
approvals_7d.auto.acceptance_failed_pct / approvals_7d.human.acceptance_failed_pct 各组出现 【验收不通过】 评论的任务比例

比例的分母是相应组的批准任务数,同一任务多次打回只计一次;分母为零时是 null。Multica 不可用时整个 approvals_7d 为 null;GitHub 不可用时评审打回率为 null。脚本需要当前身份能读取本项目任务及其历史、评论。任务历史、完整评论和 PR 评审数据通过临时文件传入 jq,避免超过命令行单参数大小上限;退出时清理临时文件。

**收紧阈值:**任意连续 7 天,自主放行任务被人取消的比例 超过 20%,Planner 就提任务请人把 AUTOTEAM_AUTO_APPROVE_MAX_PER_DAY 调小,或关闭自主放行。对照同窗口人批准任务的取消率、打回率和验收失败率,查清偏差后再决定改动。

跨文件调用数这类指标和语言强相关,脚本没有内置;需要的话在 Auditor 的 runbook 里加上你项目的计算方法。

两份报告都会建成任务(create_issue),并 @Planner 把值得做的拆进 backlog;某一节相对上一份没有变化时只写一句「无变化」:

  • 周度健康报告(AUTOTEAM_CRON_HEALTH):四节。整合审计——新增的重复实现、该复用却重写的地方;agent 成绩单——哪个 Implementer 该多派、哪个该少派,Planner 选人时会参考,用量按 agent 汇总(multica agent tasks),挂在 autopilot 名下的运行不在任何任务名下,所以单列一行,不再用按任务加总当总量;老代码巡检——一年没动、可能已经没用的模块;规格对账——任务的验收标准和实际代码不一致的地方。
  • 月度方向报告(AUTOTEAM_CRON_DIRECTION):两节。前沿扫描——扫描 A 类流程前提、B 类 AI 工程实践和 C 类项目技术栈方向,指出需调整的文件或参数及 B、C 类结论的时机;路线图对账——还没做的目标,以及不变量的偏离。

Planner 拆出来的整改任务一样要你批准。业界经验是固定拿出 15–25% 的容量做整合和偿债,作为常态而不是一次性冲刺。

统计窗口从上一份同类报告算起;没有上一份时取过去 30 天。运行频率由 AUTOTEAM_CRON_HEALTH 和 AUTOTEAM_CRON_DIRECTION 决定。

Planner 每周读这一周的 Auditor 报告、人工介入记录和自己的运营笔记,产出四类建议:往 playbook.md 加一条经验、调一个 autoteam.conf 参数、改一段角色指令、补一个流程缺口。每条都要有证据和具体改法,拆成任务等你批准。

判断标准只有一个:这一条能不能减少下一周的人工介入。 这是整套流程“越来越符合人工期望”的实现方式——不是靠 agent 自觉,是靠把每次介入的原因变成规则。