この論文は、AIDev-pop データセットを用いて、スター数が 100 を超える GitHub リポジトリで 5 つの AI コーディングエージェント（OpenAI Codex、GitHub Copilot、Devin、Cursor、Claude Code）が作成した 33,596 件のプルリクエストを対象とする大規模な実証研究を報告している。取り組むリサーチクエスチョンは 2 つある。1 つは、マージされたエージェント型 PR とマージされなかったエージェント型 PR が、タスク種別、コード変更の規模、CI の結果、レビューの力学においてどう異なるか（定量的分析、33,596 件の PR からなるデータセット全体）。もう 1 つは、どのような具体的パターンがエージェント型 PR の却下を引き起こすか（定性的分析、手作業でコーディングした 600 件の却下 PR のサンプル）である。
中心的な知見は、エージェント型 PR の失敗は、コードそのものの技術的な欠陥と少なくとも同程度に、社会技術的な要因 ― レビュアーによる放置、重複した作業、メンテナが実際に望んでいたこととのずれ ― によって引き起こされているというものである。
要点
- 33,596 件の PR 全体のうち、71.48% がマージされた。OpenAI Codex は最も多くの PR（21,799 件）を提出し、マージ率も最も高かった（82.59%）。一方 Copilot のマージ率は最も低かった（4,970 件の PR のうち 43.04%）。Cursor、Claude Code、Devin のマージ率はそれぞれ 65.22%、59.04%、53.76% だった。
- マージ率はタスク種別によって大きく異なった。ドキュメント（84%）、CI（79%）、ビルド（74%）のタスクはエージェントを問わず最も高い頻度でマージされ、パフォーマンス（55%）と修正（64%、すなわちバグ修正）のタスクは最もマージされにくかった。
- Cliff’s delta による効果量分析（データセットの規模を踏まえ、有意性検定ではなくこちらが選ばれた）では、マージされなかった PR は、より大きな変更の方向に小〜中程度の効果（変更行数で 17%、変更ファイル数で 10%）を示し、より多くの CI 失敗の方向に中程度の効果（24%）を示した。ロジスティック回帰では、失敗した CI チェックが 1 つ増えるごとにマージのオッズが約 15% 低下することがわかり、これは検証された指標の中で単独では最大の効果だった。
- 600 件の却下 PR（アクセスできなくなった 38 件を除くと 562 件）を 4 層の分類法（Reviewer、Pull Request、Code、Agentic）に沿って手作業でコーディングした結果、レビュアー層の放置 ― 意味のある人間とのやり取りがないまま PR がクローズされること ― が単独で最も多い却下パターンであり、228 件（38%）を占めた。
- Pull Request 層の却下（188 件、31%）の中では、重複 PR が単独で最大のパターン（142 件、23%）だった。これは、同じ変更をすでに実装している別の PR をメンテナが明示的に指摘したケースである。
- Code 層の却下（133 件、22%）の中では、CI／テストの失敗が支配的なパターン（99 件、17%）であり、不正確な実装（19 件、3%）や不完全な実装（15 件、2%）を上回った。
- Agentic 層の却下は最も少ないカテゴリだった（13 件、2%）。そのうち 9 件は、複数回のフィードバックを通じてエージェントがレビュアーの明示的な指示に繰り返し従えなかったもので、4 件はライセンスやコントリビューションポリシーへの違反（例：CLA に署名していない）に関わるものだった。
- 分類法の評価者間信頼性（Cohen’s kappa）は、最初の 50 件の PR のラウンドでの 0.55 から、コーダーが不一致について議論し 4 つ目のカテゴリ（「Agentic」）を追加した後には、100 件の PR からなるキャリブレーションセット全体で 0.91 まで上昇した。その後、この分類法はさらに 500 件の PR に独立して適用された。
注記
この研究のデータセット（AIDev-pop）とその 11 種類のタスク種別ラベルは、著者らが引用する先行の公開研究から取られたものであり、この論文が構築したものではない。定性的な分類法とその 600 件の PR サンプルはこの論文自身の貢献である。33,596 件の PR からなる定量的データセットは、研究時点で AIDev-pop において利用可能だった母集団全体であり、さらなるサンプリングを施したものではない。この論文は、完全なジャーナル論文並みの研究ではなく、MSR 2026 の短い（5 ページの）会議論文である。