IR: 卡绑定测试与红队守门制度（LLM-as-a-Verifier 验证 + 意图兜底道闸）

[randypanding]

job（要完成的待办）

建立"卡绑定测试 + 红队守门"制度，并把验证（Verify）方式一次性说清：

1. LLM-as-a-Verifier 立为组织默认 verifier 范式：凡 LLM 参与判定的环节（红队攻击是否成立、实现是否满足 AC、任何未来的 LLM 判定），一律采用开源 LLM-as-a-Verifier 实践——绝对细粒度 reward（score token logprob 分布取期望）+ criteria 分解 + K 次重复评估 + 阈值构成 gate；PPT 锦标赛仅作 best-of-N 选择层，不进判定链；判定输出为结构化连续分，不接受散文结论。不自研打分轮子。
2. 红队按此范式从建立第一天做起：红队 pipeline 的判定环节不使用任何临时 prompt 解析，直接以 llm-verifier 连续分 + 阈值产出 verdict；报告中的每条证据引用由代码对运行时刻真实工件做字符串级机械核对（硬谓词），核对基准版本写入报告。
3. 卡绑定测试：开卡必须挂钩验收测试（无测试不开卡）；实现 PR 绑定卡后自动走卡对应测试集与已注册 holdout 测试（合并阻断）。
4. 红队守门：红队审计覆盖意图→spec→测试设计路径——该路径（specs/** 的 spec/suite 设计与变更）每个 PR 都必须经红队审计并作为合并阻断项，因为测试设计错了，下游开发 gate 全部失效；开发实现路径的 PR 不走红队（实现 PR 只跑确定性测试）。语义审计（spec vs suite 缝隙，ADR-0067 S1–S5）verdict=insufficient 时机器阻断（Veto），survived 才放行。此频率决策是对 ADR-0067"spec+波次收口"频率的修订，随本 IR 以 ADR 落实。
5. 意图探索（非 Verify，是兜底道闸）：红队顺带做意图层探索（S6 重复已有功能 / S7 违反治理约束 / S8 越出 blastRadius），不产生阻断性判定，命中带证据报人裁决。
6. 红队住在沙箱里：红队 AI 以 GitHub Actions job 形态存在，沙箱内直接完成代码库探索；人类唯一配置 = 一个 org secret（LLM API key）+ 一个 org variable（endpoint + 模型名）。

触发场景

1. 每次开 IR 卡进入 spec 阶段：当前 spec PR 合并后即可被认领，无任何"测试是否充分"的机器审查。
2. 每次实现 PR 绑定卡：当前无任何关卡强制"该卡存在对应测试"，卡可以裸奔到合并；Verify 判定逻辑也无可复用框架，各处自己糊 prompt 解析、输出散文结论。
3. 实现 agent 在开发中发现验收测试本身写错：当前无制度化上报回路，要么硬着头皮实现错误测试，要么私自改测试绕过。
4. 卡意图本身有问题（重复建设/违反治理/越界）时：当前没有任何一道闸能兜住，问题要到 review 甚至更晚才暴露。
5. 一旦某个 IR 形成波次与工作卡后，规划 agent 同步设计的测试并没有成为 PR 的阻断项；也没有强制规划 agent 设立 holdout 测试并放在 holdout 仓库、使之成为开发 agent 不可改的合并阻断项。

当前痛点的证据

1. governance/transitions.yaml:15 状态全集已列 redteam、wave-planned，但转移表仅有 T1–T4——红队在状态机里是死状态。
2. adversary 红队管线整体不存在：无 adversary workflow、无判定脚本、无 attack-strategies.yaml；S1–S5 攻击面目前仅是 adr/ADR-0067 的散文描述。红队 Veto 无任何机器载体。
3. governance/policy/testing.yaml 政策止于 T-13，无"卡存在但无测试"的检测条款——开卡不带测试在当前政策下不违规。
4. main-protection.json required checks 仅 gate + org-gate，红队结果不在合并阻断面内。
5. template-service 的卡绑定测试体系（card-test、run-gates、g060-test-tamper、g050-fail-before）目前只存在于 adr/ADR-0061 与 W2 任务卡设计中，代码未落地；治理仓更无等价机制。
6. 已有 spec 目录佐证测试缺位：specs/IR-0001、IR-0002、IR-0003 均无任何 suite/ 验收测试目录。
7. Verify 方式从未成文：现有制度只说"gate 聚合 + PR review"，LLM 参与判定时用什么方法、什么框架、什么阈值，无任何声明。
8. 2026-08-22 手动红队 dogfood（IR IR: 卡绑定测试与红队守门制度（LLM-as-a-Verifier 验证 + 意图兜底道闸） #263 评论链）实证：无范式约束时，LLM 判定会出现"裁判凭记忆核对证据"的事故——两份红队报告错误指控候选幻觉，后发 erratum 撤回。证据核对不代码化、不锚定真实工件，判定链就不可信。

期望的可观察变化（验收时能在线上看到的事实）

Verify 默认范式

1. LLM-as-a-Verifier 写入 GOVERNANCE.yaml / testing.yaml 为组织默认 verifier 范式（绝对细粒度 reward + criteria 分解 + K 重复 + 阈值 gate；PPT 仅选择层；连续分输出，禁散文结论）。运行时证据：一次真实判定的 CI 日志含 llm-verifier 实际调用记录、逐 criterion 连续分 JSON 与 token 消耗——不接受"声明已写入"作为证据。
2. 阈值成 gate：阈值随 criteria 文件版本化，标定使用含已知不合格样本的 golden set，标定记录留档。运行时证据：故意构造的低分样本触发 gate 失败的反向测试日志（证明判定脚本真的做了数值比较，而非恒绿）。
3. 证据核对硬谓词代码化：红队/verifier 报告的每条引用由代码对运行时刻的真实工件（issue body / spec 原文）做字符串级机械匹配；核对所用基准的版本（SHA/抓取时间）写入报告；核对不通过的命中作废并记录。运行时证据：机械核对脚本的实测——对一份含已知捏造引用的样本报告，作废记录全部命中（本 IR 的 dogfood erratum 为反面教材，见 IR: 卡绑定测试与红队守门制度（LLM-as-a-Verifier 验证 + 意图兜底道闸） #263 评论链）。
4. endpoint 三探测校验制度化：logprobs 有无、top_logprobs 上限、prefill/structured_outputs 支持；探测结果决定打分抽取路径与精度预期并写入报告；不满足最低要求的 endpoint 配置即失败。运行时证据：LongCat 无 logprobs 校验失败记录、aliyun top_logprobs=5 截断走降级路径记录（dogfood 已有，pipeline 内重放即可）。
5. verifier token 成本随 run 持久化，纳入 automation-limits.yaml 预算口径；K 与 pivots 为暴露的成本旋钮。运行时证据：一次真实 run 的 token 账落盘文件（dogfood 已发生"成本无法回溯"事故，此条为其修复）。

红队守门

6. 状态机 T5（spec→redteam，前置=spec PR 合并+suite 就绪）/ T6（redteam→wave-planned，前置=红队 survived）生效，conductor 路由真实卡；adversary 经 repository_dispatch 自动触发，check run 以 App 令牌写回。运行时证据：conductor 按 T5/T6 转移的状态变更记录 + 证明无绕过转移（needs-human 不可直跳 wave-planned）的自动化测试。
7. 红队沙箱：Actions job 内 checkout 完整代码库 + sparse-checkout 治理规范，红队 AI 沙箱内只读探索；配置面 = 1 org secret + 1 org variable。运行时证据：Action run 日志含 LLM API 真实请求与代码库探索操作日志——空壳 job（echo survived）不满足本条款。
8. Veto 强制力：insufficient → state:needs-human 且无法进入 wave-planned；adversary check 纳入 specs/ 路径（spec/测试设计路径）全部 PR 的 required checks——该路径每 PR 必走红队审计；开发实现路径 PR 不要求红队 check（EXPECTED_SKIP 模式条件化豁免）。运行时证据：用故意极差 spec 触发真实 insufficient 的端到端记录——Veto 理由由红队 AI 真实产出，且修复针对该理由后 survived；开发路径 PR 无 adversary check 仍正常合并的对照记录。
9. 红队 run 为唯一证据，挂了自动兜底：红队是否跑过只认指定 Action 历史 run；run 失败（含 no-attempts 白卷，有界重试≤2 次后）自动开特定标签 issue、停止规划 agent 相关产出并提醒人类。运行时证据：Action failure → 自动开 issue 的实测记录；Action success 但产物为空报告 → 同样按失败处理的实测记录。
10. 意图兜底道闸 S6–S8 落地：入 attack-strategies.yaml（标 requires_explore），只报人不阻断；S8（blastRadius 集合比对）为确定性脚本；命中必须带 file:line 且经条款 3 的机械核对。运行时证据（正向）：对一张已知含 S6 重复问题的卡，道闸在卡下产出含 file:line 的评论。IR: 卡绑定测试与红队守门制度（LLM-as-a-Verifier 验证 + 意图兜底道闸） #263 dogfood 的三条有效命中（专用 APP vs AG-1、每 PR 审计 vs ADR-0067 频率、holdout 强制 vs DECISION-02 隔离）作为本道闸的首批实跑记录存档。

卡绑定测试

11. T-14（card_bound_test_required）：spec PR 必须含 suite/ 且卡可解析到测试集；实现 PR 带卡必须跑卡对应测试 + 已注册 holdout 测试且通过（合并阻断）。holdout 测试注册由验证者 APP 执行（owner 裁决：验证者 APP 可挂载 holdout 仓，ADR-0056 DECISION-02 对该身份的限制随本 IR 以 ADR 修订）；机器校验 PR 引用的 holdout hash 与已注册记录一致，holdout 内容对开发 agent 不可改。运行时证据：缺测试 PR 被阻断的真实 CI 红记录；holdout hash 不匹配被阻断的真实 CI 红记录；开发 agent 身份尝试改 holdout 测试被拒的 403 记录。
12. 验证者 APP 设立：新设验证者专用 GitHub App（测试/验证身份，与开发身份 cloudbrid-agent 分离），测试相关内容（suite/、holdout、卡测试）的 CODEOWNER = 验证者 APP + 人类，防止开发 agent 经既有 APP 修改测试；AG-1（身份唯一性）随本 IR 以 ADR 修订为"开发身份唯一 + 验证者身份独立"。T-15（intent_backstop）、AR-10（red_team_veto）入册；g060 等价关卡落地治理仓（specs/*/suite/** 按 IR 分片锁定），非验证者 APP/owner 改测试 exit 2 且自动开 issue 路由 owner 裁决。运行时证据：验证者 APP 安装与权限范围查询记录；开发 APP 令牌改测试被拒的 403 日志；真实 exit 2 阻断日志 + 阻断后自动开 issue 的记录。
13. 端到端实跑：一张真实卡走通 ir-signed→spec→redteam→（真实 Veto 一次→修复→survived）→wave-planned→认领→PR 绑定卡测试→合并全程。运行时证据：全程 issue 时间线 + 各 check run 链接链。

非目标（NONGOAL）

• 不自研 LLM 验证/打分框架——默认范式指定 LLM-as-a-Verifier，本 IR 只做接入与制度化
• 不把 PPT 锦标赛排名分当作判定信号——它是选择层；判定只认绝对 reward 对阈值
• 不把意图探索（S6–S8）做成 Verify 工作或阻断关卡——它是兜底道闸，只报人不拦路
• 不再另设第三个 App 身份（验证者 APP 之外的扩展另起 ADR）；AG-1 修订（开发身份唯一 + 验证者身份独立）与 DECISION-02 修订（验证者 APP 可挂载 holdout 仓）随本 IR 以 ADR 完成，先补票后实施
• 开发实现路径 PR 不强制红队审计（红队聚焦意图→spec→测试设计路径；实现 PR 只跑确定性测试与 holdout 测试）
• 不做运维安全红队（registry 的 red-adversary 是另一物）
• 不改 verifier-exam 入职考试机制（ADR-0072 已冻结）
• 不替换现有 gate / org-gate 结构，红队作为新增 check 并入
• 不赋予红队任何写权限（沙箱内只读探索 + LLM 判定，产物即焚）
• 不在本 IR 内重建 template-service 全套 quality 体系（ADR-0061/W2 卡已覆盖，本 IR 只做治理仓侧制度与 T-14/T-15 条款）
• 不要求红队/verifier 与实现 agent 使用同一模型（org variable 可独立指定，支持分角色配模型）

约束 / 不可违反项

• 遵守 GOVERNANCE.yaml 全部铁律；transitions.yaml / testing.yaml / GOVERNANCE.yaml / conductor / workflows 均为 C1 路径：PR + ADR + owner-merge
• 默认范式铁律：任何 LLM 判定环节的输出必须是 llm-verifier 结构化连续分（逐 criterion、K 次重复）；散文结论、单次离散打分、锦标赛胜率均不得作为 gate 输入
• 证据核对铁律：核对由代码执行、基准为运行时刻真实工件、基准版本写入报告；裁判（人或 LLM）凭记忆/转述比对一律无效（IR: 卡绑定测试与红队守门制度（LLM-as-a-Verifier 验证 + 意图兜底道闸） #263 erratum 为鉴）
• AG-1（身份唯一性）与 ADR-0056 DECISION-02（holdout 隔离）的修订必须随本 IR 的 C1 路径 PR 以 ADR 先行完成，不允许先实施后补票
• INV-02 不破：跨仓触发与 check 写回一律经 App 令牌（单仓作用域、1h 过期），GITHUB_TOKEN 不持有状态写权；验证者 APP 令牌同样单仓作用域、仅测试/验证路径写权
• 沙箱边界：harden-runner 出向白名单（github.com / api.github.com / objects.githubusercontent.com / LLM endpoint，egress-policy: block）；job 内凭据仅 org secret 注入的 LLM_API_KEY（无 repo 写权）；一次性 runner，产物判定后即焚
• endpoint 准入：三探测（logprobs / top_logprobs 上限 / prefill 支持）结果决定抽取路径；top_logprobs 截断造成的精度折损必须在 run 报告中声明
• llm-verifier 依赖版本钉点（pip 版本 + lock），org-required-workflows 钉点一并改 commit SHA
• 语义审计维度不放宽 ADR-0067 判定语义：insufficient=blocking、survived=放行、no-attempts=infra 失败（有界重试≤2 次后转 needs-human + dead-man + 自动开 issue）
• 意图探索道闸的任何输出不构成机器阻断条件；只有 owner 裁决后可转化为状态操作

人类愿意接受的验收证据

• 13 条期望变化各自的运行时证据（见各条加粗段）：真实 CI 日志、连续分 JSON、反向触发记录、真实阻断红记录、自动开 issue 记录、端到端链接链
• 一份真实卡的 criteria 文件及其从 AC 派生的对照、golden set 标定记录
• 配置面证据：org secret / org variable 各一项的查询结果（key 本身不可见），证明此外无人类配置
• endpoint 三探测报告（含一个被拒 endpoint 的失败记录）
• 机械核对脚本对含已知捏造引用样本的作废记录
• llm-verifier 版本钉点 diff

可逆性偏好

逐步回滚：红队 check 可从 required checks 摘除（回到 report-only）；T5/T6 可停用（卡按原 T1–T4 流转）；意图道闸可整体关停（本就不阻断）；llm-verifier 实现可替换，但替换物必须仍满足默认范式四件套（绝对细粒度 reward + criteria 分解 + K 重复 + 阈值 gate）。任何单步回退不破坏已合并的卡历史。

质量-速度旋钮

质量优先：红队 Veto、卡绑定测试、机械证据核对不接受降级；K 与 pivots 默认取保守高值。可接受的降级面：意图道闸允许因 LLM 不可用而跳过（跳过须留痕）；成本超预算时先降 K/pivots，不动判定语义与阈值；endpoint 仅支持截断 logprobs 时接受精度折损但必须在报告中声明。

[randypanding]

红队 Dogfood 报告 — IR #263

人工触发的手动红队（pipeline 不存在前的 dogfood）。harness = kimi code，红队 AI = LongCat-2.0（api.longcat.chat），判定 = harness 对照 IR 原文逐条核证据。
成本：语义审计 12,013 tokens（prompt 3,474 / completion 8,539）；意图兜底 23,128 tokens（prompt 17,956 / completion 5,172）。合计 ≈ 35k tokens。

一、语义审计（spec vs AC 可验证性，ADR-0067 S1–S5 适配）

verdict: insufficient（Veto）——AC 存在系统性"声明式合规"病。

红队有效利用的缝隙（经 harness 核对 IR 原文确认成立）：

IR 条目	缝隙	摆拍手法
1 Verify 制度化	只要求"声明写进文件"	贴了声明文本但 CI 从不调 llm-verifier；criteria 文件是空壳
2 阈值成 gate	阈值无标定约束	设 0.01 阈值全放行，或 gate 硬编码 pass
3 红队沙箱形态	Action 存在≠真实执行	job 内不调 LLM，直接 echo survived
4 Veto 强制力	隐藏转移可绕过	conductor 留 T4 变体从 needs-human 直跳 wave-planned；EXPECTED_SKIP 豁免面过宽
5（S6–S8 道闸）	策略入表≠探索真实发生	S8 用过时/空集合比对，探索脚本恒返回无命中
7（T5/T6）	转移入表≠路由生效	conductor 硬编码旧路径；T5 前置"suite 就绪"恒为真
8（T-14/T-15）	条款入册≠执行层读取	执行层从不读取新条款
10（端到端实跑）	实跑可导演	Veto 是人工先置 insufficient 再"修复"的剧本

修补方向（红队建议，harness 认可）：每条 AC 必须从"存在性检查"升级为"运行时证据"——CI 日志含 llm-verifier 实际调用与 token 消耗、gate 输出逐 criterion 连续分而非布尔值、Action run 必须由 conductor 自动触发且产出结构化评分 JSON、S8 用实时集合比对、端到端 Veto 必须由红队 AI 真实产出理由且修复针对该理由。

红队幻觉剔除（harness 判定）：红队声称"IR 说 10 条实际 13 条"并攻击了"条目5 规划agent测试落地+holdout""条目6 规划agent专用APP+CODEOWNER""条目7 红队Action run作为唯一证据"——IR 原文不存在这些内容，系红队捏造，三条攻击作废。IR 条目数实为 10，编号无误。

二、意图兜底道闸（S6–S8）

verdict: 本次运行无效（证据全数捏造），按 ADR-0067 语义视同 no-attempts → infra 失败处理，不产生任何结论。

• S6：判"无命中"。harness 复核：结论方向正确（ADR-0061/0067/0072 均为"已决策未实现"，IR 是承接而非重复），予以采信，但因同批输出存在捏造，采信度降级。
• S7 三条命中（违反 AG-1 身份唯一性 / 篡改 ADR-0067 判定语义与频率）：全部基于捏造证据。IR 原文无"新设规划 agent 专用 APP"、无"每 PR 红队审计"、Veto 语义与 ADR-0067 的 insufficient=blocking 一致并未篡改。三条全数驳回。
• S8 一条命中（越界访问 holdout 仓）：捏造。IR 原文不涉及 holdout 仓。驳回。

三、Dogfood 元结论（比单卡结果更重要）

1. 弱模型当红队会产生"引用型幻觉"：捏造不存在的条款再据此前后一致地"命中"。本次 4 条 S7/S8 命中 100% 是幻觉，若无人核证据，道闸会变成狼来了发生器。
2. 这恰好验证了 IR 的设计选择：(a) 命中必须附机器可复核证据（file:line/原文引用）且 harness 机械核对——本次 harness 靠对照原文就剔除了全部幻觉；(b) 意图道闸只报人不阻断——幻觉没有造成任何阻断后果；(c) llm-verifier 的 K 次重复评估 + 连续分正是压制单次幻觉的统计手段。
3. 语义审计维度弱模型够用：S1–S5 摆拍攻击有效命中率 8/10（剔除幻觉后），说明"找 AC 的可摆拍性"对模型能力要求低于"意图合规判定"。两个维度对模型等级的需求不同，org variable 应支持分维度配模型。
4. ** pipeline 落地时的硬性设计**：judge 环节必须机械核对每条命中的引用是否在原文中存在（纯字符串匹配即可剔除本次全部幻觉），核对不过的命中直接作废并计入红队自身的失信记录。

四、处置

• 语义审计 insufficient → 按制度 IR 回炉：AC 需按"运行时证据"方向补强后重打 state:redteam。
• 意图兜底：无有效命中，无需 owner 裁决项。

[randypanding]

红队 Dogfood 报告 v2（llm-as-a-Verifier 范式）— IR #263

手动红队第二轮，严格采用 LLM-as-a-Verifier 范式：criteria 分解 + logprob 分布期望的细粒度连续分 + K=4 重复评估 + Probabilistic Pivot Tournament（pivots=2）best-of-N。
角色分工：红队（候选生成）= LongCat-2.0；Verifier = qwen3.8-max（aliyun 兼容端点，配置中唯一通过 logprobs 校验的 endpoint）；harness/机械核证据 = kimi code。
框架：llm-verifier 0.2.0（隔离 venv，打 aliyun 兼容补丁三处）。
已知成本：候选生成 126,909 tokens（A 组 42,248 / B 组 84,661）；verifier 成本未能回溯（见元结论 5）。

一、Verifier 锦标赛结果（连续分，非散文）

A 组·语义审计（5 候选，criteria=证据真实/可利用性/修补可执行）：

候选	连续分	排名
cand-A-3（主攻 S3 no-op 桩）	0.5319	1
cand-A-1（主攻 S1 硬编码）	0.5167	2
cand-A-5（主攻 S5 错误路径）	0.4906	3
cand-A-4（主攻 S4 缓存）	0.4853	4
cand-A-2（主攻 S2 特例短路）	0.4514	5

B 组·意图兜底（4 候选，criteria=证据真实/维度守纪/判定克制）：

候选	连续分	排名
cand-B-1（主攻 S6 重复）	0.5828	1
cand-B-3（主攻 S8 越界）	0.5519	2
cand-B-4（全维度均衡）	0.4174	3
cand-B-2（主攻 S7 违反治理）	0.4143	4

二、机械核证据（harness 对 winner 逐条字符串匹配 IR 原文）

A winner（cand-A-3）：10 条攻击中 7 条有效、3 条幻影。

• 有效：对真实 AC1（Verify 制度化）、AC2（阈值成 gate）、AC3（沙箱形态）、AC4（Veto 强制力）、AC8（S6–S8 道闸）、AC9（双 check 独立）、AC10（状态机/防篡改）的 no-op 摆拍攻击，全部成立且修补建议可执行。
• 幻影（作废）：其"AC5 规划/开发 agent 测试与 holdout 强制检查""AC6 规划 APP 专用 CODEOWNER""AC7 红队 run 为唯一证据并停止规划 agent"——IR 原文均不存在，系 LongCat 系统性幻觉（与 v1 的幻影主题完全一致）。

B winner（cand-B-1）：主结论成立，2 处幻影引用作废。

• 有效：S6 无命中的论证（承接 ADR-0061/0067/0072 属"已决策未实现"，非重复；意图道闸是全新维度）经核对成立。
• 幻影（作废）："6. holdout 测试检查→细化 ADR-0056"（IR 无 holdout 要求）与结尾"IR 要求新设规划 agent 专用 APP（job 第 6 点）与 AG-1 张力"（IR 的 job 只有 5 点，无此内容）——两处引用均系捏造，基于其上的 S7 警示随之作废。

三、Verdict

• 语义审计：insufficient（Veto）。两轮独立运行（v1 散文判定 / v2 verifier 锦标赛）结论一致：IR 的 AC 患"声明式合规"病，多数可被"yaml 写字 + CI echo success"的 no-op 桩摆拍。回炉方向不变：每条 AC 升级为运行时证据（verifier 调用日志+原始 logprob 输出、反向触发测试、真实 403/exit 2 记录）。
• 意图兜底：无有效命中。S6 无命中成立；S7/S8 无有效证据。无 owner 裁决项。

四、范式层面的元结论（v2 新增，比单卡结论重要）

1. LLM verifier 排名 ≠ 证据有效。verifier 把"证据真实"放第一 criterion，选出的 winner 仍带 3 条幻影 AC——因为全部候选共享同一系统性幻觉，criterion 无可区分。pipeline 必须是双层：verifier 连续分做质量排名 + 机械引用核对做硬谓词，缺一不可。
2. 单一弱模型生成候选，best-of-N 治不了系统性偏差。5 份 A 候选全部幻觉出"holdout/规划 APP"主题，锦标赛只能在同病候选里选"病最轻"的。候选生成需要跨模型多样性或"逐字引用 AC 原文"的强约束 prompt。
3. 连续分聚集在 0.5 附近的两个成因：候选同病（criterion 拉不开）+ top_logprobs=5 截断（20 档分布只剩头部 5 档，期望估计变粗）。后者是 aliyun 端点的硬限制，换 DeepSeek/vLLM（top_logprobs=20）可解。
4. endpoint 校验要从一项扩成三项探测：logprobs 有无（LongCat ✗）→ top_logprobs 上限（aliyun=5）→ prefill/structured_outputs 支持（aliyun ✗，决定走"模型自输出 score tag"降级路径）。三探测结果决定抽取路径与精度预期，应在配置时写入报告。
5. verifier 成本必须随 run 持久化。框架有 token_usage() 但只在进程内；本次 select 两轮的真实 token 消耗无法回溯。pipeline 落地时每次 run 必须落盘 token 账（这正是 IR 要求的"CI 日志含 token 消耗"的第一次正面教训）。
6. 降级路径打分精度冒烟验证通过：错误答案 1.07e-7 vs 正确答案 0.99999，20 档 logprob 期望打分在 aliyun 补丁后真实生效（精度有 top-5 截断折损，已在结论 3 注明）。

五、处置

• IR IR: 卡绑定测试与红队守门制度（LLM-as-a-Verifier 验证 + 意图兜底道闸） #263 AC 回炉（同 v1 结论，现有两轮独立证据）：重点补强 AC1/2/3/4/5/7（真实条目编号）的运行时证据要求。
• 意图道闸：无需动作。
• pipeline 设计输入：元结论 1/2/4/5 直接进入 build 阶段的需求（双层判定、候选多样性、三探测校验、token 账落盘）。

[randypanding]

ERRATUM：撤回前两份红队报告中的"幻觉"指控（harness 判定错误）

本 erratum 针对上两条评论（v1 报告与 v2 报告）。结论先行：LongCat 红队没有产生引用型幻觉；是 harness（kimi code）的"机械核证据"核对错了基准——拿候选输出与自己记忆中的 strawman 草稿比对，而非与磁盘/线上的真实 IR 正文比对。所有"幻影 AC""捏造引用"的指控全部撤回。

一、事实

1. IR 正文在挂出前经 owner 编辑，新增了痛点第 8 条与期望变化第 5/6/7 条（规划 agent 测试落地+holdout 强制注册、新设规划 agent 专用 APP 及测试 CODEOWNER、红队 action run 唯一证据+挂了开 issue 停规划 agent），且新增条目与原有 5/6/7 编号重复（全节实为 13 条）。
2. v1 红队报告称"声称 10 条实际 13 条且编号重复"——正确，harness 误判为幻觉。
3. v1/v2 候选中所有涉及"holdout/规划 agent 专用 APP"的攻击与引用，均有 IR 原文对应，全部为有效引用。
4. v3.1 verifier 对真实 AC 块（含新增 5/6/7）打 1.0、对编号错配块（"AC8"实为第 5 条、合并多条的"AC10"）打低分——判定基本正确，harness 此前将其列为"误报"亦属错误。

二、因此恢复有效的意图兜底命中（v1 B 组，当时被错误作废）

1. S7 命中（有效）：期望变化第 6 条"新设立给规划 agent 专用的 APP"与 GOVERNANCE.yaml AG-1（agent 写仓库唯一身份 = App cloudbrid-agent）存在张力——需 owner 裁决：修订 AG-1、走既有例外通道、或改用既有 App 的权限分组实现。
2. S7 命中（有效）：期望变化第 5 条"测试必须全部经过红队审计，这是 PR 阻断项"将红队审计频率扩到每 PR，与 ADR-0067 的频率与成本预算决策存在张力——需 owner 确认修订范围或调整该条。
3. S7/S8 命中（有效）：期望变化第 5 条强制 holdout 测试注册到 holdout 仓且为合并阻断项，与 ADR-0056 DECISION-02 隔离不变量（App 不挂载 holdout 仓）存在张力——写入路径需要 owner 裁决（例如由谁的身份注册、CI 如何验证不可挂载之仓的内容）。
4. 附带发现（有效）：期望变化节编号 5/6/7 重复，spec-author 落地前需重排。

三、仍然成立的结论

• 语义审计 verdict=insufficient（AC"声明式合规"病，需运行时证据化）不受影响，两轮独立证据仍然有效。
• v3/v3.1 的机制结论成立：绝对 reward + 阈值 gate 可运行；aliyun 端点三探测（logprobs/top_logprobs 上限/prefill）必要；token 账须随 run 落盘。

四、修正后的元结论（替换前两份报告的第四节）

1. 证据核对必须是由代码执行的、针对运行时刻真实工件的机械匹配，不能是裁判（人或 LLM）凭记忆比对。本次全部错误源于 harness 用"我记得的 strawman"当基准；pipeline 中该步骤必须读当时的 issue body / spec 文件原文做字符串级匹配，并把"核对所用的基准版本（SHA/抓取时间）"写进报告。
2. 弱模型红队 + 强模型 verifier 的组合在本场景表现合格：LongCat 的引用全部真实，qwen 的局部判定基本准确。前两份报告对两者的能力评估（"引用型幻觉""排名≠证据有效"）基于错误基准，予以撤回。
3. 意图兜底道闸的价值得到实跑证明：三条有效命中全部是 owner 编辑引入的意图层张力，正是道闸设计要抓的问题类型。
4. 仍保留的警示：单模型候选生成可能存在系统性偏差（本次未观察到，但不构成反证）；候选多样性与机械核对仍应保留在 pipeline 中。

[randypanding]

IR v3 修订说明（按红队有效反馈回炉）

正文已按两轮红队 dogfood 的有效反馈重写。变更明细：

一、按语义审计反馈（AC 声明式合规病）的修订

期望变化全部重写为 13 条，每条自带"运行时证据"子句——不再接受"声明/配置存在"作为验收依据：

• AC1（Verify 制度化）→ 要求 CI 日志含 llm-verifier 实际调用 + 连续分 JSON + token 消耗
• AC2（阈值 gate）→ 新增 golden set 标定 + 故意低分样本的反向触发测试
• AC3（新增）→ 证据核对硬谓词代码化：运行时刻真实工件 + 基准版本入报告 + 捏造引用样本的作废实测（本卡 erratum 为反面教材）
• AC4（新增）→ endpoint 三探测制度化（logprobs / top_logprobs 上限 / prefill 支持）
• AC5（新增）→ token 成本随 run 落盘（修复 dogfood 的"成本无法回溯"事故）
• AC6/7/8 → 沙箱/Veto/状态机条款全部改为要求真实执行证据（空壳 job、echo survived、人为导演 Veto 均不满足）
• AC9（保留 owner 新增条款）→ 红队 run 唯一证据 + 挂了自动开 issue 停规划 agent，补"success 但产物为空同样按失败处理"
• AC11（卡绑定测试）→ 补"缺测试 PR 被阻断的真实红记录""holdout hash 不匹配被阻断的红记录"

二、按意图兜底三条有效命中的修订

1. 专用 APP vs AG-1 → NONGOAL 新增"不新设规划 agent 专用 APP"，测试写入保护改用既有 cloudbrid-agent 身份 + CODEOWNERS + 分支保护；确需独立身份则另起 ADR 修订 AG-1
2. 每 PR 红队审计 vs ADR-0067 频率成本 → 频率回归 ADR-0067（spec + 波次收口）；每 PR 跑的是确定性测试而非 LLM 审计；NONGOAL 明示"红队审计不扩到每 PR"
3. holdout 强制 vs DECISION-02 隔离 → AC11 改为：注册走 owner/人类通道，机器只校验 PR 引用的 holdout hash 与已注册记录一致；NONGOAL 明示"不要求 App 写入 holdout 仓"

三、LLM-as-a-Verifier 立为组织默认 verifier 范式

• job 第 1 条 + AC1/AC2 + 约束段"默认范式铁律"：凡 LLM 判定环节必须输出 llm-verifier 结构化连续分（绝对细粒度 reward + criteria 分解 + K 重复 + 阈值 gate）；散文结论、单次离散打分、锦标赛胜率均不得作为 gate 输入（PPT 仅选择层——dogfood v2 曾误用胜率当判定信号，已纠正）
• 红队 pipeline 从建立第一天起按此范式实现（job 第 2 条），不留"先散文后补框架"的过渡态

四、其他

• 期望变化编号重排为 1–13（修复上一版 5/6/7 编号重复——红队 v1 的有效发现）
• 约束新增"endpoint 精度折损必须声明""机械核对裁判凭记忆比对一律无效"
• dogfood 三条意图命中作为道闸首批实跑记录存档（AC10）

状态：待 owner 签署（state:ir-signed）。签署前请重点裁决：NONGOAL 的三条合规化改法（专用 APP / 每 PR 审计 / holdout 注册通道）是否符合你的本意。

[randypanding]

IR v4 修订说明（owner 三条裁决落实）

正文已按 owner 裁决重写。变更明细：

一、owner 裁决的三条（覆盖 v3 的合规化保守改法）

1. 新设验证者 APP（AC12 新增）：验证者专用 GitHub App，与开发身份 cloudbrid-agent 分离；测试相关内容（suite/、holdout、卡测试）CODEOWNER = 验证者 APP + 人类。AG-1 以 ADR 修订为"开发身份唯一 + 验证者身份独立"（约束段：ADR 先行，不许先实施后补票）。
2. 红队审计范围 = 意图→spec→测试设计路径每 PR（job 第 4 条 + AC8）：specs/** 路径全部 PR 必走红队审计且为合并阻断——测试设计错了，下游开发 gate 全部失效。开发实现路径 PR 不走红队，只跑确定性测试 + holdout 测试（NONGOAL 明示）。此为对 ADR-0067 频率决策的修订，随本 IR 以 ADR 落实。
3. holdout 强制，验证者 APP 可挂 holdout 仓（AC11）：holdout 注册由验证者 APP 执行，DECISION-02 对该身份的限制以 ADR 修订；机器校验 PR 引用的 holdout hash；开发 agent 不可改 holdout 内容（运行时证据含 403 记录）。

二、签署失败根因（供存档）

09:42 签署时 type:intent 与 state:ir-signed 同时操作导致前者被移除，T1 守卫（transitions.yaml:26：要求 type:intent in label_set）为假，conductor 按 AC-11 静默丢弃（回退标签、不评论、不启动），审计行 verdict=DENIED-silent-drop。系统按设计工作；教训：签署时两个标签必须同时在场。"静默丢弃无反馈"的 UX 缺陷建议后续改进（守卫拒绝时至少回贴一条原因评论）。

三、重新签署

v4 正文更新后重新打 type:intent + state:ir-signed 触发 T1 → spec-author。

[cloudbrid-agent]

spec-author 完成（BEH-01）：spec PR → #266
计量：model=glm-4.5-air tokens=7092 latency=34673ms
状态转移由 conductor 跟进（state:spec）。