Skip to content

[Governance Audit v2] PM 模拟 30 次复测:置信度 5.0/10,结构问题仍存 #366

Description

@randypanding

摘要

基于 #362 的修复,重新派出 30 个强模型 PM agent 进行模拟运行复测。

指标 v1 v2 变化
平均置信度 4.8/10 5.0/10 +0.2
可执行(≥8) 9% 10% +1%
严重困惑(3-4) 38% 37% -1%

结论:PLAYBOOK.md 的创建解决了部分入口断裂,但深层结构性问题未改善。


已修复项 ✅

问题 状态
docs/pm/PLAYBOOK.md 404 ✅ 已创建,内容完整
Spec 位置规则不明 ✅ §2 明确:产品仓 specs/<IR-NNNN>/,治理仓 .github/specs/IR-XXXX/
g060 引导悖论 ✅ §2 明确:首次创建同样走 g060 裁决路径
C1 runbook 缺失 ✅ §9 有完整 C1 变更流程
NAVIGATION.md 缺失 ✅ 已创建入口路由表

仍存问题(按频次排序)

🔴 高频阻断(≥5 次)

# 问题 频次 说明
1 治理文件路径不一致 8 GOVERNANCE/REPOS 在 governance/,transitions 在 .github/governance/,PM 首次定位必撞 404
2 drift-check PM 无法运行 7 需要 org admin PAT,但 PM 无此凭据;PLAYBOOK 说「跑不了不是你的问题」但未给替代路径
3 contract gate ADR 检查指向错误位置 6 contract_check.pyagent-registry/decisions,但 ADR 已迁 archive/adr/——这是 live bug
4 PM vs App persona 边界仍模糊 5 多 agent 问「我能改 .github/workflows/ 吗?」
5 make gates-pr 在 CI-Workflows 不存在 5 PLAYBOOK §9 引用但目标仓无此目标

🟡 中频问题(3-4 次)

# 问题 频次
6 C2 流程 underspecified(谁 review?是否需要 adversary?) 4
7 auto-fix max_attempts=3 可能过低 3
8 holdout canary drill 无单页 runbook 3
9 CNB ledger 一词多义 3
10 QW_Arena1 文档语言(Python)与实际仓库(TypeScript)不符 3
11 PR 模板 C1 vs C3 分类歧义 3
12 org-gate 修改后无法在合并前测试 3

🟢 新发现问题

问题 严重级
contract_check.py 的 ADR_DIR_API 指向已退役的 agent-registry,导致 ADR-0085~0087 无法通过 contract gate 🔴 高
双 repo PR 排序(archive ADR 必须先于 .github PR 合并)无文档 🟡 中
ADR 预接受状态(proposed/accepted)未定义 🟡 中
INDEX.yaml 的 content_sha256 计算时机未文档化 🟢 低
holdout golden-type entry 无示例 🟡 中
cnb-bridge accounts.yaml 无 tier 字段(任务说 tier=light 但 schema 不支持) 🟡 中
talk repo 404(CNB 执行面不可达) 🟡 中
butler-ledger 当前 401 故障 🟡 中
「retire ADR」操作未定义 🟢 低
languages.yaml 无 Rust gate rules(RS-*) 🟡 中

关键发现:contract gate 是 live bug

CI-Workflows/scripts/contract/contract_check.py 的 ADR 存在性检查:

ADR_DIR_API = "repos/Cloudbird-Software/agent-registry/contents/decisions"

但 ADR 家园已迁移至 archive/adr/(ADR-0085 单仓化)。

后果:引用 ADR-0085/0086/0087 的 PR 无法通过 contract gate。这三个 ADR 在 agent-registry 中不存在。


对比 v1 的改进建议完成情况

v1 建议 状态
创建 PLAYBOOK.md ✅ 完成
明确 spec 位置 ✅ 完成
说明 g060 初始创建 ✅ 完成
drift-check 降级模式 ❌ 未完成
PM persona 边界 ❌ 未完成
card vs 治理变更 ✅ 完成(§9 明确不需要 card)
verifier-app 权限矛盾 ❌ 未完成
CI-Workflows Makefile ❌ 未完成

建议修复优先级

P0(立即)

  • 修复 contract_check.pyADR_DIR_API 指向 archive/adr/
  • 统一治理文件路径(全部移至 governance/ 或全部移至 .github/governance/
  • 为 PM 提供 drift-check 只读替代方案(或明确声明 PM 不运行 drift-check)

P1(1-2 周)

  • 明确 PM persona 与 App 硬规则的边界
  • 在 CI-Workflows 添加 make gates-pr 目标
  • 文档化双 repo PR 排序规则
  • 定义 ADR 预接受状态值

P2(1-2 月)

  • 补充 Rust gate rules(RS-*)
  • 创建 holdout canary drill 单页 runbook
  • 统一 CNB ledger 术语
  • 修复 QW_Arena1 文档与实际仓库语言不一致

详细 30 次 run 报告

完整报告(含每次的具体困惑点、假设、置信度评分)已存档于本次审计会话。

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions