摘要
本 Issue 记录 OpenPI 0.3.0、Bare Pi 与 OMP 在两个模型上的同条件对照证据：
- 模型：
seal/glm-5.3、seal/gpt-5.6-luna - Harness：Bare Pi、Pi + OpenPI、OMP
- 任务：3 个多轮 Terminal 任务
- 重复：每题 3 次
- 总计：
2 models × 3 tasks × 3 repeats × 3 harnesses = 54 cells
主要观察：
- GLM-5.3：三条 Harness 都通过 7/9；OpenPI 使用 331,851 tokens，OMP 使用 2,176,017 tokens，OpenPI 少 84.7%。
- GPT-5.6 Luna：Bare Pi 与 OpenPI 都通过 7/9，OMP 通过 4/9；OpenPI 比 OMP 少 58.2% 的物理模型请求，总耗时低 36.2%。
- Git 与 SQLite 两类任务中，Bare Pi 和 OpenPI 在两个模型上均为 12/12。
这组结果没有证明 OpenPI 相对 Bare Pi 存在通用质量提升。它支持的更窄结论是：在本次普通 Terminal 任务里，OpenPI 保持了 Pi 的成功数；相对 OMP，本轮观察到了更低的模型调用开销。
结果边界
这是在 Linux ARM64 VM 上运行的 Terminal-Bench 2.1 源构建派生诊断，不是 Terminal-Bench 官方成绩或排行榜提交。
任务数只有 3，每个 cell 重复 3 次。cancel-async-tasks 对 SIGINT/process-group 行为较敏感，方差明显，因此不能把小幅胜负外推成 Harness 的稳定总体能力。
GPT-5.6 Luna 路线没有返回可用 token usage；该模型只比较 verifier、物理请求数与 wall time，不作 token 或成本结论。
冻结条件
| 项目 | 值 |
|---|
| Pi | @earendil-works/pi-coding-agent 0.84.2 |
| OpenPI | @tt-a1i/openpi 0.3.0 |
| OMP | @oh-my-pi/pi-coding-agent 17.2.12 |
| Bun | 1.3.14 |
| Harbor | 0.20.0 |
| Container runtime | Podman server 6.0.2，Linux ARM64 VM |
| Task source | Terminal-Bench 2.1 ARM64 source-build-derived，commit d1f1920f2d817a831f466d0ff363ef795a9a3b00 |
| Tasks | git-leak-recovery, sqlite-db-truncate, cancel-async-tasks |
| Repeats | 每个模型、任务、Harness 3 次 |
| Schedule | strict serial Latin-square |
| Cell deadline | 1,800 秒 |
| Schedule SHA-256 | 974fdc67aad36c4c890a83d6705e7a687610a0ecbef00a0c0ca4e7efac369a62 |
| Credential boundary | host forwarding proxy + 每格短命 bearer；candidate 不持有真实 provider key |
模型参数：
| 模型 | Thinking |
|---|
seal/glm-5.3 | high |
seal/gpt-5.6-luna | high |
GLM-5.3
结果格式为 pass / fail / indeterminate。Wall 为 9 个 cell 的总耗时；indeterminate 的等待时间不隐藏。
| Harness | 结果 | Wall | Provider tokens | Physical POST |
|---|
| Bare Pi | 7 / 1 / 1 | 2,647.724s | 249,625 | 94 |
| OpenPI | 7 / 2 / 0 | 1,107.098s | 331,851 | 87 |
| OMP | 7 / 2 / 0 | 1,081.746s | 2,176,017 | 106 |
逐任务：
| Task | Bare Pi | OpenPI | OMP |
|---|
| Git leak recovery | 3 / 0 / 0 | 3 / 0 / 0 | 3 / 0 / 0 |
| SQLite truncate | 3 / 0 / 0 | 3 / 0 / 0 | 3 / 0 / 0 |
| Cancel async tasks | 1 / 1 / 1 | 1 / 2 / 0 | 1 / 2 / 0 |
效率观察：
- OpenPI 与 OMP 都是 7 pass；OpenPI tokens 为 OMP 的 15.3%，少 84.7%。
- OMP tokens 为 OpenPI 的 6.56 倍。
- OpenPI 相对 Bare Pi 多使用 32.9% tokens；本轮不能声称 OpenPI 比原生 Pi 更省 token。
- Bare Pi 的 cancel 总时长包含一个约 30 分钟的 indeterminate，因此不能用 GLM 总 wall 宣称 OpenPI 相对 Pi 有稳定提速。
GPT-5.6 Luna
| Harness | 结果 | Wall | Physical POST | Logical attempts | 额外物理 POST |
|---|
| Bare Pi | 7 / 2 / 0 | 1,129.885s | 43 | 43 | 0 |
| OpenPI | 7 / 2 / 0 | 1,151.213s | 46 | 46 | 0 |
| OMP | 4 / 5 / 0 | 1,803.368s | 110 | 92 | 18 |
逐任务：
| Task | Bare Pi | OpenPI | OMP |
|---|
| Git leak recovery | 3 / 0 / 0 | 3 / 0 / 0 | 3 / 0 / 0 |
| SQLite truncate | 3 / 0 / 0 | 3 / 0 / 0 | 1 / 2 / 0 |
| Cancel async tasks | 1 / 2 / 0 | 1 / 2 / 0 | 0 / 3 / 0 |
效率观察：
- OpenPI 与 Bare Pi 都是 7/9；OpenPI wall 比 Bare Pi 高 1.9%，没有提速证据。
- OpenPI 相对 OMP 多 3 pass，物理模型请求少 58.2%，总 wall 低 36.2%。
- OMP 的 110 个物理 POST 对应 92 个已完成 logical attempts；18 个额外请求按 provider 重试保留，没有从开销中隐藏。
- Seal 未返回可用 usage，因此不能根据该轮声称 OpenPI 节省 Luna token 或成本。
完整性与安全收据
两组运行均满足：
- 27/27 Pi/OpenPI/OMP cells 落盘且身份唯一；
- 最终冻结源校验通过；
- retained artifact credential scan 通过：0 missing roots、0 credential leak、0 scan failure；
- 真实 provider key 未注入 candidate；
- 全局并发为 1，所有 cell 按冻结 Latin-square 严格串行执行。
运行身份：
| 模型 | Lock fingerprint | Receipt |
|---|
| GLM-5.3 | sha256:037179456f3223457e428b9d5543911144b045bcea7ee7127728b27dd735780e | completed_with_indeterminate |
| GPT-5.6 Luna | sha256:00b9db64606832521df7f853d63d5e50d1e6754920e0ac51e1b32c2aacc4866c | completed_with_indeterminate |
证据 controller 的 POST/attempt reconciliation 另外覆盖了 provider 物理重试：physical POST < logical attempts 时 fail closed；非负差值记录为 unattributedProviderPostRequests。
验证：
- controller 定向 Node tests：23 pass，1 个环境用例 skip；
- 项目全量 Node tests：719/719；
- Vitest：29/29；
bun run check：format、lint、typecheck 通过；typecheck 仅有既存 Effect advisory warnings。
当前可支持的结论
- 在这两个完整模型批次中，OpenPI 与 Bare Pi 都取得 7/9；Git 与 SQLite 合计均为 12/12。
- 在本轮两个完整模型批次中，OpenPI 保持了与原生 Pi 相同的通过数；不同任务的耗时方向不一致，因此暂不对相对 Pi 的速度优势作结论。
- 相对 OMP，OpenPI 在 GLM-5.3 上以相同 pass 数使用少 84.7% tokens；在 Luna 上取得更多 pass，并使用少 58.2% 的物理请求和少 36.2% 的 wall time。
- 这些数据支持继续保持 Pi-native、普通回合 zero-resident、按需披露能力的方向；尚不足以证明 Subagent/Workflow 的收益，因为这三道题没有专门要求编排能力。
- 下一轮应扩大任务集，并预注册会自然触发 Subagent/Workflow 的多文件任务，将能力采用率、质量与成本分开报告。
摘要
本 Issue 记录 OpenPI 0.3.0、Bare Pi 与 OMP 在两个模型上的同条件对照证据：
seal/glm-5.3、seal/gpt-5.6-luna2 models × 3 tasks × 3 repeats × 3 harnesses = 54 cells主要观察：
这组结果没有证明 OpenPI 相对 Bare Pi 存在通用质量提升。它支持的更窄结论是：在本次普通 Terminal 任务里，OpenPI 保持了 Pi 的成功数；相对 OMP，本轮观察到了更低的模型调用开销。
结果边界
这是在 Linux ARM64 VM 上运行的 Terminal-Bench 2.1 源构建派生诊断，不是 Terminal-Bench 官方成绩或排行榜提交。
任务数只有 3，每个 cell 重复 3 次。
cancel-async-tasks对 SIGINT/process-group 行为较敏感，方差明显，因此不能把小幅胜负外推成 Harness 的稳定总体能力。GPT-5.6 Luna 路线没有返回可用 token usage；该模型只比较 verifier、物理请求数与 wall time，不作 token 或成本结论。
冻结条件
@earendil-works/pi-coding-agent 0.84.2@tt-a1i/openpi 0.3.0@oh-my-pi/pi-coding-agent 17.2.121.3.140.20.06.0.2，Linux ARM64 VMd1f1920f2d817a831f466d0ff363ef795a9a3b00git-leak-recovery,sqlite-db-truncate,cancel-async-tasks974fdc67aad36c4c890a83d6705e7a687610a0ecbef00a0c0ca4e7efac369a62模型参数：
seal/glm-5.3highseal/gpt-5.6-lunahighGLM-5.3
结果格式为
pass / fail / indeterminate。Wall 为 9 个 cell 的总耗时；indeterminate 的等待时间不隐藏。逐任务：
效率观察：
GPT-5.6 Luna
逐任务：
效率观察：
完整性与安全收据
两组运行均满足：
运行身份：
sha256:037179456f3223457e428b9d5543911144b045bcea7ee7127728b27dd735780ecompleted_with_indeterminatesha256:00b9db64606832521df7f853d63d5e50d1e6754920e0ac51e1b32c2aacc4866ccompleted_with_indeterminate证据 controller 的 POST/attempt reconciliation 另外覆盖了 provider 物理重试：
physical POST < logical attempts时 fail closed；非负差值记录为unattributedProviderPostRequests。验证：
bun run check：format、lint、typecheck 通过；typecheck 仅有既存 Effect advisory warnings。当前可支持的结论