[REL-200] Consent済み report-only live external pilotを1 repo / 約5 PRで実施する

[ootakazuhiko]

Parent: #3637
Depends on preparation: #3531, #3586
Recommended sequencing: after #3630 and #3632
Codex lane: pilot/external/live-report-only

背景

#3531 では external pilot runbook、evidence template、redacted example、collection fieldsを整備したが、scope上はactual external repository changeを必須にせず、pilot-ready状態で完了した。#3586 ではlive collection開始前のconsent、data handling、retention、claim boundary、stop ruleを定義した。

現在の公開可能なevidenceはfixture-backed / internal dogfooding / dry-run onlyであり、consent済みlive external PRの収集数は0件である。次の段階は、ae-framework repository外の1 repositoryで約5 PRをreport-only観測し、review surfaceとmetrics collectionが実review workflowで利用可能かを確認することである。

目的

1 repository / 約5 live PR の小規模pilotを、maintainer consent、private evidence handling、redaction、retention、stop ruleを満たして実施する。

このpilotの目的は、次を観測することである。

• assurance-gate / review surfaceをexternal repositoryで再現できるか。
• reviewerがsurfaceの意味と限界を理解できるか。
• missing evidence、scope drift、manual intervention、review dispositionを既存metrics vocabularyで収集できるか。
• onboarding、Action runtime、docs、artifact shapeにどのfrictionがあるか。

このIssueだけでreview speed、safety、quality、adoption impact、agent superiorityを証明しない。

Human approval gate

Codex CLIがlive collectionを開始する前に、次の情報が承認済みであることを確認する。

• target repositoryまたはredacted repository identifier
• named pilot maintainer
• approved operator
• written report-only collection consent
• included / excluded PR categories
• raw evidenceのprivate storage location
• retention periodとdelete/archive owner
• redaction owner
• allowed publication form: aggregate only, redacted case note, synthetic fixture, private only のいずれか
• exact Action ref（immutable tagまたはcommit SHA）
• stop rules

上記が揃っていない場合:

1. live repositoryへworkflowを追加しない。
2. synthetic dataをlive dataとして代用しない。
3. Issueをcloseしない。
4. 不足項目をIssue commentに列挙し、human decision required として停止する。

Secret、private tracker URL、reviewer identity、customer/business contextはpublic Issue本文やpublic repositoryへ記録しない。

対象ファイル / artifactの目安

Public repository側:

• docs/product/LIVE-PILOT-ENTRY-CRITERIA.md
• docs/product/PILOT-RUNBOOK-2026Q3.md
• docs/product/PILOT-EVIDENCE-TEMPLATE.md
• docs/guides/external-pilot-onboarding.md
• docs/ci/agent-pr-assurance-metrics.md
• docs/product/EFFECTIVENESS-METRICS.md
• 新しいlive pilot report（例: docs/product/PILOT-REPORT-2026Q3-02.md。historical dry-run reportをlive実績へ書き換えない）
• publication-approved redacted artifactのみを置く examples/pilot-redacted/ 配下

Private / target repository側:

• consent record
• pilot scope memo
• per-PR private tracker
• raw metrics / review surface / CI links
• redaction approval log

Codex CLI 共通作業指示

実行前に次を読む。

1. AGENTS.md
2. docs/integrations/CODEX-ISSUE-RUNBOOK.md
3. docs/product/ASSURANCE-CONTROL-PLANE-POLICY.md
4. docs/product/LIVE-PILOT-ENTRY-CRITERIA.md
5. docs/product/PILOT-RUNBOOK-2026Q3.md
6. docs/product/PILOT-EVIDENCE-TEMPLATE.md
7. docs/guides/external-pilot-onboarding.md
8. docs/product/DOGFOODING-PILOT-MEASUREMENT-PROTOCOL.md
9. docs/ci/agent-pr-assurance-metrics.md
10. docs/product/CONTROLLED-COMPARISON-PROTOCOL.md
11. target repositoryのcontributor / security / data-handling rules

不変条件:

• Actionはmoving @v1 ではなく、pilot開始時に固定したimmutable tagまたはcommit SHAへpinする。
• 初期pilotは report-only とし、branch protection required check、auto-merge authority、approval signalにしない。
• fail-on-block はlearning期間中falseを既定とし、human maintainerが明示承認しない限りblockingへ変更しない。
• Missing dataは0へ変換せず not_collected / unknown とする。
• Raw producer output、review surface、metricsはapprovalではない。
• Public commitにはpublication-approved redacted / aggregate evidenceのみを含める。
• PRには Summary, Acceptance, Verification, Rollback, Context Pack conflict, Data handling を含める。

実装 / 運用タスク

Entry and preregistration

• Human approval gateの全項目をprivate trackerまたはapproved recordへ記録する。
• Pilot stateを ready_for_collection と判断できるentry checklistを完成する。
• Pre-registered observation statementを作る。例:「external PRでreview surface生成とreport-only reviewer dispositionを観測する」。outcome improvement claimは含めない。
• Sample size、observation window、included/excluded PR category、stop rulesを固定する。
• Exact Action refを固定し、pilot中にmoving tagへ追随しない。

Live collection

• Target repositoryへreport-only workflowを導入する。既存CI / branch policyを変更する場合はmaintainer approvalを別途取得する。
• 約5件のlive PR observationを収集する。各PRについて少なくとも次を記録する。
  • observation id
  • redacted repository scope / PR category
  • producer category
  • issue / task scope
  • exact Action ref
  • review surface location
  • metrics JSON location
  • policy result / missing evidence / scope drift
  • reviewer disposition
  • manual intervention
  • limitations / not_collected fields
• 各PRのreview surfaceをposting前にpreviewし、maintainerが承認した場合のみpostする。
• CI instability、sensitive-data exposure、consent変更、reviewer confusion、approval-signal confusionが発生した場合はstop ruleを適用する。

Closeout and publication boundary

• Final review-completeness snapshotとcompletion auditを作る。
• Raw/private evidenceとpublic/redacted evidenceを分離する。
• Redaction ownerとpublication ownerのapprovalを記録する。
• Historical dry-run only reportを改変して実績化せず、新しいlive report-only reportを追加する。
• Reportにはsample denominator、missing values、limitations、stop events、reviewer feedbackを記載する。
• helpful, friction, unclear, next improvement に分類したfollow-upを作成する。
• Public claimは観測済みのreview traceability / evidence routingに限定する。比較claimが必要なら別Issueでcontrolled comparisonを実施する。

Acceptance criteria

• Named maintainer consent、data handling、retention、publication boundary、stop rulesがcollection前に承認されている。
• ae-framework本体以外の1 repositoryで、原則5件以上のlive PR observationが収集されている。5件未満で停止した場合はIssueをcloseせず、stop reasonと残件を記録する。
• 全observationにexact Action ref、review surface、metrics、reviewer disposition、limitationsが紐付いている。
• Missing / unapproved dataが0として集計されていない。
• Public repositoryにsecret、PII、unredacted PR text、private tracker URLが含まれていない。
• 新しいpilot reportが live report-only と claim_ready を区別し、unsupported outcome claimを含まない。
• Reviewer feedbackとfrictionから、必要なfollow-up Issueが作成されている。
• Target repositoryのworkflowをrollbackまたは継続するowner decisionが記録されている。

Validation commands

Repository変更に対して:

• pnpm -s run metrics:agent-pr-assurance -- --help
• pilotで使用したmetrics collector / rendererのtargeted test
• pnpm -s run check:schemas
• pnpm -s run check:doc-consistency
• pnpm -s run docs:lint
• git diff --check

Target repositoryのworkflow commandと結果はprivate trackerまたはapproved evidence indexへ記録し、public PR本文にはredacted summaryのみを記載する。

Out of scope

• Review speed / productivity improvementの比較検証。
• Safety / code quality outcomeの一般化。
• Agent vendor ranking。
• Pilot開始時点でのblocking required check化。
• Consentなしのpublic repository data collection。

[ootakazuhiko]

Pilot sequencing / Action ref update

Before live collection starts, complete the release-correctness prerequisites:

• [REL-121] Marketplace live判定にexternal runtime smoke evidenceを必須化する #3650 — Marketplace/release evidence contract requires external runtime smoke.
• [REL-130] assurance-gate v1.0.2をreleaseしmoving v1を修正版へ更新する #3651 — publish the runtime-fixed Assurance Gate as immutable v1.0.2 and move v1 after pass/block smoke.

For this pilot, pin the Action to the verified immutable release from #3651 (itdojp/ae-framework@v1.0.2, or a later reviewed immutable patch if #3651 changes it). Do not use the current pre-fix v1.0.1, and do not follow the moving @v1 during the observation window.

Record the exact resolved commit and any setup/install/build friction using the #3641 benchmark vocabulary. #3648 remains deferred unless this pilot records repeated startup/runtime friction that satisfies its entry criteria.

[ootakazuhiko]

Private Match dogfood候補の追加（ACP-HARDEN-100）

Private Matchの複数repositoryで、Issue → Codex CLI → Draft PR → review thread対応 → exact-head CI → human mergeを反復した結果を踏まえ、#3655 のPhase 3として本Issueを再利用します。新規pilot Issueは作成しません。

候補public repositories:

• itdojp/private-match-protocol
• itdojp/private-match-assurance
• itdojp/private-match-research

private repositoriesであるProduct／Strategyのraw Evidenceは収集・公開せず、将来のreview済みprivate-to-public export contract経由に限定します。

Pilot開始前の推奨前提

• [ACP-HARDEN-110] FormalAgentの疑似model-check結果をAssurance経路から隔離する #3656 FormalAgent truthful-result boundary
• [ACP-HARDEN-120] GitHub authority snapshotとstale-context検出を追加する #3657 GitHub authority snapshot
• [ACP-HARDEN-130] execution-result/v1を導入しstatus非変換を保証する #3658 execution-result status preservation
• [ACP-HARDEN-220] content-addressed artifact referenceとimplementation manifestを標準化する #3660 content-addressed artifact provenance
• [ACP-HARDEN-210] human-decision/v1で承認を対象material digestへbindingする #3659 subject-bound human decision
• [ACP-HARDEN-250] review-disposition/v1とhead-bound review completenessを追加する #3661 review disposition
• [ACP-HARDEN-230] 汎用private-to-public Evidence export contractを追加する #3662 private-to-public Evidence export
• [ACP-HARDEN-240] cross-artifact semantic graph validatorを追加する #3663 cross-artifact semantic graph validator
• [ACP-HARDEN-260] GitHub Actions supply-chain policyをfull-SHA基準で強化する #3664 Actions supply-chain hardening
• [ACP-HARDEN-310] SSOT freshness contractとdrift検出を追加する #3665 SSOT freshness contract

全Issueの完了を絶対条件とするかは人間判断ですが、少なくとも#3656、#3657、#3658とpublic Evidenceを扱う#3662の境界を確認してからlive collectionを開始することを推奨します。

追加で観測する項目

• local ledgerとGitHub authorityのstale差分件数
• review threadの再取得回数とdisposition
• exact-head CI不一致
• skip／unsupported／timeout／tool-errorの保持
• test-only／synthetic Evidenceのpromotion阻止
• reviewerがreview surfaceとclaim boundaryを理解できるか
• onboarding、Action runtime、docs、artifact shapeのfriction

Parent program: #3655