摘要
基于 #362 的修复,重新派出 30 个强模型 PM agent 进行模拟运行复测。
| 指标 |
v1 |
v2 |
变化 |
| 平均置信度 |
4.8/10 |
5.0/10 |
+0.2 |
| 可执行(≥8) |
9% |
10% |
+1% |
| 严重困惑(3-4) |
38% |
37% |
-1% |
结论:PLAYBOOK.md 的创建解决了部分入口断裂,但深层结构性问题未改善。
已修复项 ✅
| 问题 |
状态 |
docs/pm/PLAYBOOK.md 404 |
✅ 已创建,内容完整 |
| Spec 位置规则不明 |
✅ §2 明确:产品仓 specs/<IR-NNNN>/,治理仓 .github/specs/IR-XXXX/ |
| g060 引导悖论 |
✅ §2 明确:首次创建同样走 g060 裁决路径 |
| C1 runbook 缺失 |
✅ §9 有完整 C1 变更流程 |
| NAVIGATION.md 缺失 |
✅ 已创建入口路由表 |
仍存问题(按频次排序)
🔴 高频阻断(≥5 次)
| # |
问题 |
频次 |
说明 |
| 1 |
治理文件路径不一致 |
8 |
GOVERNANCE/REPOS 在 governance/,transitions 在 .github/governance/,PM 首次定位必撞 404 |
| 2 |
drift-check PM 无法运行 |
7 |
需要 org admin PAT,但 PM 无此凭据;PLAYBOOK 说「跑不了不是你的问题」但未给替代路径 |
| 3 |
contract gate ADR 检查指向错误位置 |
6 |
contract_check.py 查 agent-registry/decisions,但 ADR 已迁 archive/adr/——这是 live bug |
| 4 |
PM vs App persona 边界仍模糊 |
5 |
多 agent 问「我能改 .github/workflows/ 吗?」 |
| 5 |
make gates-pr 在 CI-Workflows 不存在 |
5 |
PLAYBOOK §9 引用但目标仓无此目标 |
🟡 中频问题(3-4 次)
| # |
问题 |
频次 |
| 6 |
C2 流程 underspecified(谁 review?是否需要 adversary?) |
4 |
| 7 |
auto-fix max_attempts=3 可能过低 |
3 |
| 8 |
holdout canary drill 无单页 runbook |
3 |
| 9 |
CNB ledger 一词多义 |
3 |
| 10 |
QW_Arena1 文档语言(Python)与实际仓库(TypeScript)不符 |
3 |
| 11 |
PR 模板 C1 vs C3 分类歧义 |
3 |
| 12 |
org-gate 修改后无法在合并前测试 |
3 |
🟢 新发现问题
| 问题 |
严重级 |
contract_check.py 的 ADR_DIR_API 指向已退役的 agent-registry,导致 ADR-0085~0087 无法通过 contract gate |
🔴 高 |
| 双 repo PR 排序(archive ADR 必须先于 .github PR 合并)无文档 |
🟡 中 |
| ADR 预接受状态(proposed/accepted)未定义 |
🟡 中 |
INDEX.yaml 的 content_sha256 计算时机未文档化 |
🟢 低 |
| holdout golden-type entry 无示例 |
🟡 中 |
| cnb-bridge accounts.yaml 无 tier 字段(任务说 tier=light 但 schema 不支持) |
🟡 中 |
| talk repo 404(CNB 执行面不可达) |
🟡 中 |
| butler-ledger 当前 401 故障 |
🟡 中 |
| 「retire ADR」操作未定义 |
🟢 低 |
| languages.yaml 无 Rust gate rules(RS-*) |
🟡 中 |
关键发现:contract gate 是 live bug
CI-Workflows/scripts/contract/contract_check.py 的 ADR 存在性检查:
ADR_DIR_API = "repos/Cloudbird-Software/agent-registry/contents/decisions"
但 ADR 家园已迁移至 archive/adr/(ADR-0085 单仓化)。
后果:引用 ADR-0085/0086/0087 的 PR 无法通过 contract gate。这三个 ADR 在 agent-registry 中不存在。
对比 v1 的改进建议完成情况
| v1 建议 |
状态 |
| 创建 PLAYBOOK.md |
✅ 完成 |
| 明确 spec 位置 |
✅ 完成 |
| 说明 g060 初始创建 |
✅ 完成 |
| drift-check 降级模式 |
❌ 未完成 |
| PM persona 边界 |
❌ 未完成 |
| card vs 治理变更 |
✅ 完成(§9 明确不需要 card) |
| verifier-app 权限矛盾 |
❌ 未完成 |
| CI-Workflows Makefile |
❌ 未完成 |
建议修复优先级
P0(立即)
P1(1-2 周)
P2(1-2 月)
详细 30 次 run 报告
完整报告(含每次的具体困惑点、假设、置信度评分)已存档于本次审计会话。
摘要
基于 #362 的修复,重新派出 30 个强模型 PM agent 进行模拟运行复测。
结论:PLAYBOOK.md 的创建解决了部分入口断裂,但深层结构性问题未改善。
已修复项 ✅
docs/pm/PLAYBOOK.md404specs/<IR-NNNN>/,治理仓.github/specs/IR-XXXX/仍存问题(按频次排序)
🔴 高频阻断(≥5 次)
governance/,transitions 在.github/governance/,PM 首次定位必撞 404contract_check.py查agent-registry/decisions,但 ADR 已迁archive/adr/——这是 live bug🟡 中频问题(3-4 次)
🟢 新发现问题
ADR_DIR_API指向已退役的 agent-registry,导致 ADR-0085~0087 无法通过 contract gatecontent_sha256计算时机未文档化关键发现:contract gate 是 live bug
CI-Workflows/scripts/contract/contract_check.py的 ADR 存在性检查:但 ADR 家园已迁移至
archive/adr/(ADR-0085 单仓化)。后果:引用 ADR-0085/0086/0087 的 PR 无法通过 contract gate。这三个 ADR 在 agent-registry 中不存在。
对比 v1 的改进建议完成情况
建议修复优先级
P0(立即)
contract_check.py的ADR_DIR_API指向archive/adr/governance/或全部移至.github/governance/)P1(1-2 周)
make gates-pr目标P2(1-2 月)
详细 30 次 run 报告
完整报告(含每次的具体困惑点、假设、置信度评分)已存档于本次审计会话。