[REL-200] Consent済み report-only live external pilotを1 repo / 約5 PRで実施する

[ootakazuhiko]

Parent: #3637
Depends on preparation: #3531, #3586
Recommended sequencing: after #3630 and #3632
Codex lane: pilot/external/live-report-only

背景

#3531 では external pilot runbook、evidence template、redacted example、collection fieldsを整備したが、scope上はactual external repository changeを必須にせず、pilot-ready状態で完了した。#3586 ではlive collection開始前のconsent、data handling、retention、claim boundary、stop ruleを定義した。

現在の公開可能なevidenceはfixture-backed / internal dogfooding / dry-run onlyであり、consent済みlive external PRの収集数は0件である。次の段階は、ae-framework repository外の1 repositoryで約5 PRをreport-only観測し、review surfaceとmetrics collectionが実review workflowで利用可能かを確認することである。

目的

1 repository / 約5 live PR の小規模pilotを、maintainer consent、private evidence handling、redaction、retention、stop ruleを満たして実施する。

このpilotの目的は、次を観測することである。

• assurance-gate / review surfaceをexternal repositoryで再現できるか。
• reviewerがsurfaceの意味と限界を理解できるか。
• missing evidence、scope drift、manual intervention、review dispositionを既存metrics vocabularyで収集できるか。
• onboarding、Action runtime、docs、artifact shapeにどのfrictionがあるか。

このIssueだけでreview speed、safety、quality、adoption impact、agent superiorityを証明しない。

Human approval gate

Codex CLIがlive collectionを開始する前に、次の情報が承認済みであることを確認する。

• target repositoryまたはredacted repository identifier
• named pilot maintainer
• approved operator
• written report-only collection consent
• included / excluded PR categories
• raw evidenceのprivate storage location
• retention periodとdelete/archive owner
• redaction owner
• allowed publication form: aggregate only, redacted case note, synthetic fixture, private only のいずれか
• exact Action ref（immutable tagまたはcommit SHA）
• stop rules

上記が揃っていない場合:

1. live repositoryへworkflowを追加しない。
2. synthetic dataをlive dataとして代用しない。
3. Issueをcloseしない。
4. 不足項目をIssue commentに列挙し、human decision required として停止する。

Secret、private tracker URL、reviewer identity、customer/business contextはpublic Issue本文やpublic repositoryへ記録しない。

対象ファイル / artifactの目安

Public repository側:

• docs/product/LIVE-PILOT-ENTRY-CRITERIA.md
• docs/product/PILOT-RUNBOOK-2026Q3.md
• docs/product/PILOT-EVIDENCE-TEMPLATE.md
• docs/guides/external-pilot-onboarding.md
• docs/ci/agent-pr-assurance-metrics.md
• docs/product/EFFECTIVENESS-METRICS.md
• 新しいlive pilot report（例: docs/product/PILOT-REPORT-2026Q3-02.md。historical dry-run reportをlive実績へ書き換えない）
• publication-approved redacted artifactのみを置く examples/pilot-redacted/ 配下

Private / target repository側:

• consent record
• pilot scope memo
• per-PR private tracker
• raw metrics / review surface / CI links
• redaction approval log

Codex CLI 共通作業指示

実行前に次を読む。

1. AGENTS.md
2. docs/integrations/CODEX-ISSUE-RUNBOOK.md
3. docs/product/ASSURANCE-CONTROL-PLANE-POLICY.md
4. docs/product/LIVE-PILOT-ENTRY-CRITERIA.md
5. docs/product/PILOT-RUNBOOK-2026Q3.md
6. docs/product/PILOT-EVIDENCE-TEMPLATE.md
7. docs/guides/external-pilot-onboarding.md
8. docs/product/DOGFOODING-PILOT-MEASUREMENT-PROTOCOL.md
9. docs/ci/agent-pr-assurance-metrics.md
10. docs/product/CONTROLLED-COMPARISON-PROTOCOL.md
11. target repositoryのcontributor / security / data-handling rules

不変条件:

• Actionはmoving @v1 ではなく、pilot開始時に固定したimmutable tagまたはcommit SHAへpinする。
• 初期pilotは report-only とし、branch protection required check、auto-merge authority、approval signalにしない。
• fail-on-block はlearning期間中falseを既定とし、human maintainerが明示承認しない限りblockingへ変更しない。
• Missing dataは0へ変換せず not_collected / unknown とする。
• Raw producer output、review surface、metricsはapprovalではない。
• Public commitにはpublication-approved redacted / aggregate evidenceのみを含める。
• PRには Summary, Acceptance, Verification, Rollback, Context Pack conflict, Data handling を含める。

実装 / 運用タスク

Entry and preregistration

• Human approval gateの全項目をprivate trackerまたはapproved recordへ記録する。
• Pilot stateを ready_for_collection と判断できるentry checklistを完成する。
• Pre-registered observation statementを作る。例:「external PRでreview surface生成とreport-only reviewer dispositionを観測する」。outcome improvement claimは含めない。
• Sample size、observation window、included/excluded PR category、stop rulesを固定する。
• Exact Action refを固定し、pilot中にmoving tagへ追随しない。

Live collection

• Target repositoryへreport-only workflowを導入する。既存CI / branch policyを変更する場合はmaintainer approvalを別途取得する。
• 約5件のlive PR observationを収集する。各PRについて少なくとも次を記録する。
  • observation id
  • redacted repository scope / PR category
  • producer category
  • issue / task scope
  • exact Action ref
  • review surface location
  • metrics JSON location
  • policy result / missing evidence / scope drift
  • reviewer disposition
  • manual intervention
  • limitations / not_collected fields
• 各PRのreview surfaceをposting前にpreviewし、maintainerが承認した場合のみpostする。
• CI instability、sensitive-data exposure、consent変更、reviewer confusion、approval-signal confusionが発生した場合はstop ruleを適用する。

Closeout and publication boundary

• Final review-completeness snapshotとcompletion auditを作る。
• Raw/private evidenceとpublic/redacted evidenceを分離する。
• Redaction ownerとpublication ownerのapprovalを記録する。
• Historical dry-run only reportを改変して実績化せず、新しいlive report-only reportを追加する。
• Reportにはsample denominator、missing values、limitations、stop events、reviewer feedbackを記載する。
• helpful, friction, unclear, next improvement に分類したfollow-upを作成する。
• Public claimは観測済みのreview traceability / evidence routingに限定する。比較claimが必要なら別Issueでcontrolled comparisonを実施する。

Acceptance criteria

• Named maintainer consent、data handling、retention、publication boundary、stop rulesがcollection前に承認されている。
• ae-framework本体以外の1 repositoryで、原則5件以上のlive PR observationが収集されている。5件未満で停止した場合はIssueをcloseせず、stop reasonと残件を記録する。
• 全observationにexact Action ref、review surface、metrics、reviewer disposition、limitationsが紐付いている。
• Missing / unapproved dataが0として集計されていない。
• Public repositoryにsecret、PII、unredacted PR text、private tracker URLが含まれていない。
• 新しいpilot reportが live report-only と claim_ready を区別し、unsupported outcome claimを含まない。
• Reviewer feedbackとfrictionから、必要なfollow-up Issueが作成されている。
• Target repositoryのworkflowをrollbackまたは継続するowner decisionが記録されている。

Validation commands

Repository変更に対して:

• pnpm -s run metrics:agent-pr-assurance -- --help
• pilotで使用したmetrics collector / rendererのtargeted test
• pnpm -s run check:schemas
• pnpm -s run check:doc-consistency
• pnpm -s run docs:lint
• git diff --check

Target repositoryのworkflow commandと結果はprivate trackerまたはapproved evidence indexへ記録し、public PR本文にはredacted summaryのみを記載する。

Out of scope

• Review speed / productivity improvementの比較検証。
• Safety / code quality outcomeの一般化。
• Agent vendor ranking。
• Pilot開始時点でのblocking required check化。
• Consentなしのpublic repository data collection。