[ACP-096] Run first report-only external pilot workflow and capture evidence

[ootakazuhiko]

Parent: #3525
Depends on: #3526, #3527, #3528, #3529, #3530
Blocks: #3532, #3534
Codex lane: pilot/external/report-only

背景

内部 dogfooding だけでは、製品の有効性を広く示すには不十分である。次は ae-framework とは別の repo または pilot 用 repo で、report-only の pilot を実行し、review surface と metrics が実際の reviewer workflow に役立つかを確認する。

目的

1 repo / 5 PR 程度の最初の report-only pilot を実施するための runbook、evidence capture、redacted artifact template を整える。実 pilot がすぐ実施できない場合でも、pilot-ready checklist と placeholder report を作る。

対象ファイルの目安

• docs/product/PILOT-RUNBOOK-2026Q3.md
• docs/product/PILOT-EVIDENCE-TEMPLATE.md
• docs/guides/external-pilot-onboarding.md
• examples/pilot-redacted/
• scripts/metrics/collect-agent-pr-assurance-metrics.mjs

Codex CLI 共通作業指示

この Issue を Codex CLI で実行する前に、次を順に確認する。

1. AGENTS.md
2. docs/integrations/CODEX-ISSUE-RUNBOOK.md
3. docs/product/ASSURANCE-CONTROL-PLANE-POLICY.md
4. docs/guides/byo-agent-assurance-onboarding.md
5. docs/guides/byo-agent-assurance-quickstart.md
6. docs/product/EFFECTIVENESS-METRICS.md
7. docs/product/DOGFOODING-REPORT-2026Q3.md
8. docs/spec/context-pack.md と spec/context-pack/boundary-map.json
9. 対象ファイル近傍の README / schema / fixtures / tests / workflow

作業時の不変条件:

• Issue 本文を作業入力の上限として扱い、scope を勝手に拡張しない。
• Context Pack / Boundary Map と矛盾する場合は、実装を止めて PR 本文に conflict を明記する。
• .codex-local/tasks/ は local operator input として扱い、stage / commit しない。
• producer output は approval ではない。summary artifact / schema validation / policy gate に渡す evidence として扱う。
• 通常 PR は fast lane を維持し、heavy lane は selected high-risk claim のみに限定する。
• 未測定の review-speed 改善、agent vendor 比較、auto-merge guarantee、all-PR formal proof を主張しない。
• PR には Summary, Acceptance, Verification, Rollback を含める。

実装タスク

• pilot runbook を追加し、PR ごとの実行手順を定義する。
• pilot evidence template を追加する。
• 5 PR 分の collection fields を定義する: producer, issue scope, review surface link, metrics JSON, reviewer disposition, limitations。
• redacted example を追加する。実データがない場合は synthetic / placeholder と明示する。
• pilot abort criteria を追加する。例: CI が安定していない、maintainer 合意がない、公開用に redaction できない。
• pilot で使う commands を PowerShell / bash の両方で書く。

Acceptance criteria

• pilot を始めるための runbook と evidence template が揃っている。
• report-only で reviewer workflow に介入しすぎない運用になっている。
• pilot data が公開に適さない場合でも redaction / non-public path がある。
• metrics collector と PR review surface posting helper を使う導線がある。
• pilot が未実施の場合、未実施であることを明確にし、実施済みのように見せない。

Validation commands

• pnpm -s run check:doc-consistency
• pnpm -s run docs:lint
• git diff --check

Out of scope

この Issue では pilot 対象 repo の実変更、公開 pilot report の完成、SNS 投稿は必須範囲に含めない。実 pilot 結果の公開は ACP-097 で扱う。

[ootakazuhiko]

Completed via PR #3542.

Evidence:

• Added docs/product/PILOT-RUNBOOK-2026Q3.md and docs/product/PILOT-EVIDENCE-TEMPLATE.md for the first report-only external pilot workflow.
• Added examples/pilot-redacted/ with synthetic placeholder evidence, metrics JSON/Markdown, evidence log, and review surface example. The examples are explicitly marked as non-live/non-public placeholder material.
• Linked the pilot runbook/template from docs/guides/external-pilot-onboarding.md and docs/README.md.
• Addressed all Codex/Copilot review feedback, including schema-valid placeholder metrics JSON, valid runbook doc paths, and private-tracker guidance for reviewer disposition.
• Final review completeness: status=ok, unresolved_threads=0, review_comments=8, review_threads=4.
• Local verification passed:
  • pnpm -s run check:doc-consistency
  • pnpm -s run docs:lint
  • node scripts/docs/check-doc-consistency-all.mjs --docs docs/product/PILOT-RUNBOOK-2026Q3.md
  • python -m json.tool examples/pilot-redacted/pilot-pr-1.agent-pr-assurance-metrics.json >/dev/null
  • node scripts/ci/validate-json.mjs
  • AJV validation of examples/pilot-redacted/pilot-pr-1.agent-pr-assurance-metrics.json against schema/agentic-metrics.schema.json
  • git diff --check and git diff --cached --check
• GitHub CI passed on final head 3e995e2ad6111fa75c0cce745cd558c474ca7169: required checks gate, policy-gate, and verify-lite passed; full check rollup had no non-success/non-skipped entries; mergeStateStatus=CLEAN before merge.
• Merge commit: 80bfa181eb5227a35e879eac62e39cedc061f71e.

Notes:

• No live external pilot was executed in this Issue. The delivered artifacts intentionally provide a pilot-ready runbook and redacted/synthetic placeholder package; live pilot outcome publication remains out of scope here and should be handled by ACP-097 / follow-up work.