建立 Thinloop 当前版本三臂整体价值 A/B 评测

[mindcarver]

结果

建立代表当前 Thinloop 整体价值的三臂 Agent A/B 评测，并产出可复现、不过度声明的当前版本结果。

用户问题

现有证据分散在 Knowledge、Discovery 和历史 Dev Loop，尚不能整体回答当前 QuickDev、Project、Execute、浏览器验收和完成审计相对原生 Agent 的增益与成本。

产品追溯

• 权威来源：当前对话确认的改进范围
• 已确认版本：2026-08-30
• 需求：不适用

项目协调

• Initiative：Initiative：把 Thinloop 产品化证据链推进到 CI、A/B、路由内核与正式发布 #72
• 节点：current-ab-benchmark
• 图版本：2
• 依赖：建立 Thinloop 最小 CI 与 main 必需检查门 #76（ci-main-gate）
• 契约：APPROVED
• 当前图状态：DONE

范围内

• 三臂：原生 Agent、简短“验证并保存进度”提示、完整 Thinloop；
• 覆盖清晰 Bug、定义不足功能、多 Issue 项目、中断恢复、无关脏改动、页面验收和伪完成；
• 隔离仓库/Agent Home、固定版本和任务、脱敏证据；
• 评分最终验收、无证据完成、范围泄漏、恢复、用户打断、时间/Token/成本/工具调用和高风险越权；
• dry/smoke/full 模式，至少运行一轮真实可负担 smoke；
• 在 EVALUATION.md 记录方法、结果和限制。

范围外

• 宣称统计显著性；
• 覆盖所有模型和平台；
• 把 dry-run 当行为证据；
• 为评测修改生产 Skill 行为；
• 在普通 CI 中调用付费模型或伪造浏览器证据。

已确认决策

• 复用现有 Codex 隔离运行、秘密扫描和结果分层组件；
• 同一用例的三臂只改变 Thinloop 上下文条件；
• 基础设施失败、行为失败和不确定必须分开；
• dry 只验证定义、夹具、公开评分器、秘密扫描和聚合，不读取认证、不调用模型；
• smoke 固定运行一个代表“测试绿但行为未闭合”的最小三臂用例，以控制真实模型成本；
• full 覆盖全部七类任务；浏览器用例缺少真实浏览器证据时必须直接 BLOCKED；
• 成本仅在提供明确的每百万 Token 单价时计算，否则保存 Token 并将成本标为不可确认；
• 历史结果不能冒充当前版本。

失败与边界场景

• 认证、配额或真实模型不可用时真实运行 BLOCKED，但定义、dry-run 和仪器自测仍可交付；
• UI 用例没有真实浏览器时不得声称页面验收通过；
• 评分器必须用已知 good/bad fixture 自证能区分关键失败；
• 结果目录发现认证材料或常见密钥形态时整轮不能发布；
• 相同 Run ID 不覆盖，重评分只消费已经脱敏的保存证据。

验收条件

• A1：仓库包含三臂、七类任务和指标定义的版本化评测清单。
• A2：每个运行使用隔离工作区与 Agent 配置，且输出可脱敏、可重评分。
• A3：dry-run 验证任务、评分器、秘密扫描和聚合门，不调用模型。
• A4：至少一轮真实 smoke 产生三臂结果，或以直接认证/配额/环境证据标记 BLOCKED。
• A5：公开报告区分观察事实、推断、限制和未验证，不使用夸大百分比。
• A6：CI 自动验证评测定义和 dry-run，但不在普通 PR 中调用付费模型。

验证衔接点

• 新评测 runner 的 dry 与 smoke；
• 公开确定性评分和 known-good / known-bad 仪器夹具；
• 结果目录的 manifest.json、observations/、summary.json、report.md 与秘密扫描；
• 保存结果的独立 rescore。

实施方案

• 在 evals/thinloop/ 新增独立的当前版本整体评测，不改变现有 Discovery/Knowledge 行为评测。
• 清单固定 schema/version、三种 condition、七个 task category、smoke 子集、可观察验收和允许差异。
• Runner 为每个 subject 创建独立 fixture Git 仓库与临时 Codex Home；native 不安装 Skill，prompt 只增加固定短提示，thinloop 只安装当前工作树的规范 Skill 集。
• 保存脱敏后的 raw 输出、仓库观察和确定性评分；重评分只读取保存的 observation，不依赖已删除的临时 Agent Home。
• 汇总区分 PASS、FAIL、BLOCKED，公开列出验收、无证据完成、范围泄漏、恢复、打断、耗时、Token、可确认成本、工具调用和越权信号。
• CI 只运行定义验证与无模型 dry；真实 smoke 作为人工明确运行命令和外部证据保存，不进入普通 PR CI。

实施任务

• T1：建立版本化三臂、七类任务和指标清单。
• T2：实现隔离 fixture 仓库、Agent Home 和三臂上下文安装。
• T3：实现公开确定性评分、known-good / known-bad 自测和指标聚合。
• T4：实现结果脱敏、秘密扫描、不可覆盖 Run ID 和可重评分证据。
• T5：实现 dry、smoke、full 运行路径及认证/配额/浏览器 BLOCKED 分类。
• T6：增加评测定义、隔离、评分、聚合、重评分和 dry 无模型契约测试。
• T7：把定义验证与 dry 接入普通 CI，确保不调用付费模型。
• T8：运行真实最小 smoke，并在 EVALUATION.md 写入方法、事实、限制和证据目录。

验证

• A1 PASS：node evals/thinloop/validate.mjs → PASS Thinloop current definitions: 7 cases, 3 conditions；manifest.json 覆盖三臂、七类任务和 11 项指标。
• A2 PASS：三次真实 subject 分别创建独立 fixture 和临时 Codex Home；tests/thinloop-current-eval.test.mjs 验证条件安装；保存目录包含三个脱敏 observations/*.json，rescore.mjs 无模型重评分仍为 OBSERVED，秘密扫描 0 发现。
• A3 PASS：node evals/thinloop/runner/run.mjs --mode dry → PASS ... no model or auth used；缺失 auth 的子进程测试仍通过；known-good 为 PASS，known-bad 同时暴露行为、范围、无证据完成和越权信号。
• A4 PASS：真实 run issue-74-smoke-f075dfe-20260830 使用 gpt-5.4 / medium，native、prompt、thinloop 各一次，三者均完成真实 turn 并为 PASS；整轮 OBSERVED，非 dry。
• A5 PASS：EVALUATION.md 和保存的 report.md 分开列出观察、推断边界、限制、未验证和不可确认成本；明确单用例没有相对增益且不能推出百分比或整体价值。
• A6 PASS：.github/workflows/ci.yml 在保留 建立 Thinloop 路由内核与防漂移校验 #75 routing-kernel check 的同时加入 definition validate 与 dry；完整 CI 同构命令本地通过，普通 CI 无 smoke/full。
• 完整测试：node --test tests/*.test.mjs → 187/187 PASS。
• 其他门：routing kernel、三组既有评测定义、Knowledge dry、README 图一致性与 claude plugin validate . --strict 均 PASS。

完成审计

验收闭合

• A1：PASS，版本化定义直接证据已记录。
• A2：PASS，隔离、脱敏、秘密扫描和重评分直接证据已记录。
• A3：PASS，无认证 dry 与评分器自测直接证据已记录。
• A4：PASS，三次真实 subject 与结果目录已记录。
• A5：PASS，公开事实/推断/限制边界已记录。
• A6：PASS，CI 定义和无模型 dry 接入已记录。

实施账目

• T1-T8：DONE。

页面验收

• 页面变更：否（本 Issue 只增加评测工具、测试、CI 接入和评测说明）。
• 证据矩阵：不适用；评测内浏览器场景仍要求真实外部证据，否则 BLOCKED。

交付状态

• 精确差异：origin/main...c9fa3ef701b90a912869bdf1370417ba8df0ca0a，仅 .github/workflows/ci.yml、EVALUATION.md、evals/thinloop/**、tests/thinloop-current-eval.test.mjs；无兄弟 Issue 文件回退。
• 必需检查：本地 187/187 与全部同构门通过；PR 建立 Thinloop 当前版本三臂整体价值 A/B 评测 #80 Thinloop CI SUCCESS；main push run 33302533639 SUCCESS。
• 独立验收：PASS，全新上下文验收者复核 A1-A6、真实结果目录、秘密扫描、离线 rescore、浏览器 fail-closed 边界和全部工程门。
• 合并版本：PR 建立 Thinloop 当前版本三臂整体价值 A/B 评测 #80 已合并为 d873a9e9924b11bdb97529687f75c4707d4822f8，本地与远端 main 已同步。
• 阻塞性未知项：无。

清理状态

• 清理所有者：Execute。
• main 同步：PASS，本地与远端 main 均为 d873a9e9924b11bdb97529687f75c4707d4822f8。
• 任务工作树：/Users/carver/workspace/mindcarver/.worktrees/thinloop-74，已删除并复核不存在。
• 本地任务分支：feat/74-current-ab-benchmark，已删除并复核不存在。
• 远端任务分支：feat/74-current-ab-benchmark，已删除并复核不存在。
• 连续性状态：不适用。

未知项

• 无。其余六类真实 subject、真实浏览器、重复样本和其他模型是已公开的评测限制，不属于本 Issue 的未闭合验收。

[mindcarver]

候选完成审计更新

• 拉取请求：建立 Thinloop 当前版本三臂整体价值 A/B 评测 #80（Refs #74）
• 已验收 head：c9fa3ef701b90a912869bdf1370417ba8df0ca0a
• 与 origin/main 集成状态：CLEAN
• 远端必需检查：Thinloop CI SUCCESS，run 33302262748 / job 99232477547
• Issue 专属文件：仅 .github/workflows/ci.yml、EVALUATION.md、evals/thinloop/**、tests/thinloop-current-eval.test.mjs
• 验收闭合：A1-A6 均已有直接证据；真实 smoke 为 OBSERVED，三臂各一次 PASS，秘密扫描 0，重评分仍为 OBSERVED
• 实施账目：T1-T8 均 DONE
• 页面验收：仓库页面变更不适用；评测内浏览器 case 继续失败关闭，缺少真实证据只能 BLOCKED
• 独立验收：等待父 Execute 的新上下文验收者返回 PASS / FAIL / BLOCKED
• 合并、main 同步、Issue 关闭和分支/工作树清理：等待父 Execute；本通道不执行

当前没有工程检查阻塞。此更新是独立验收前的候选审计，不把 PR 可合并或 CI 绿色提升为最终完成。

[mindcarver]

独立验收 PASS；PR #80 已合并为 d873a9e9924b11bdb97529687f75c4707d4822f8；真实三臂 smoke、main CI 与通道资源清理均已复核。