この短い論文は、早稲田大学、大阪大学、九州大学などの日本の大学の研究者によって第 23 回 International Conference on Mining Software Repositories（MSR ‘26）で発表されたもので、AI コーディングエージェントが提出したプルリクエスト ― エージェント型プルリクエスト（エージェント型プルリクエスト） ― が最終的にマージされるか却下されるのはなぜかを問う。出発点は、エージェントの性能がマージ率や承認頻度といったマージと却下の結果だけから評価されることが多いという点であり、論文はそうしたラベルは、レビューでのやり取りを考慮に入れない限りエージェントの能力を確実には反映しないという仮説を立てる。
著者らは AIDev データセットを土台とし、スター数が 500 以上のリポジトリで明示的なマージまたは却下の判断が下されたクローズ済みのエージェント型 PR（11,048 件）に絞り込んだうえで、ボットだけがレビューした提出を除外し、5 つのエージェント ― OpenAI Codex、Devin、GitHub Copilot、Cursor、Claude Code ― にまたがる人間がレビューした 9,799 件の PR を残した。そこから 717 件（却下 353 件、マージ 364 件）の層化サンプルを抽出し、各 PR をそのやり取りの成果物 ― レビュアーのコメント、CI の結果、コミット履歴、ワークフローのアクション ― から、PR ごとに 2 名のアノテーターによって手作業でコーディングした。却下された PR は、エージェントの失敗、エージェント以外の要因による失敗、不明のいずれかに、マージされた PR は、フィードバックループ（レビュアーのフィードバックの後にエージェントのみによる修正が続く）、人間の介入（マージ前にレビュアーのコミットが適用される）、フィードバックループなし、不明のいずれかにコーディングされた。
要点
- 却下の多くはエージェントの失敗を反映していなかった。却下された 353 件の PR のうち、失敗したチェックやテストといった観察可能なエージェントの失敗の兆候を示したのは 126 件（35.7%）で、110 件（31.2%）は重複、置き換えられた変更、非アクティブ、テスト用 PR、誤った提出コンテキストといったワークフローやプロセス上の理由でクローズされ、117 件（33.1%）は分類に足る証拠を欠いていた ― その多くはコメントのないサイレントなクローズだった。評価者間一致度は Cohen’s κ ≈ 0.90 だった。
- マージされた PR が一様に自律的な完遂を表していたわけではなかった。364 件のうち 56 件（15.4%）にはレビュアーの明示的な関与があり、その内訳はフィードバックループ（28 件）とレビュアーが適用したコミット（28 件）で均等に分かれていた。288 件（79.1%）はフィードバックループが観察されないままマージされ、20 件（5.5%）はやり取りの証拠が曖昧または不十分だった。このコーディングの評価者間一致度は Cohen’s κ = 1.0 だった。
- マージされた PR に対するレビュアーの介入は、中核的な機能よりも、欠けているテスト、CI の設定の問題、リポジトリ固有の規約に対処するものが多かった。
- やり取りのパターンはエージェントごとに体系的に異なっていた。サンプル中でフィードバックループまたは人間の介入を伴ってマージされた 56 件の PR のうち 54 件を Copilot と Devin が占めており、著者らはワークフロー起因の却下の大半もこの 2 つが占めていると述べている。一方、OpenAI Codex と Cursor の PR は、たいてい最小限のやり取りでマージされていた。著者らはこれらの違いの一部を、より厳格な CI ゲーティングや反復的なレビューの慣行といったリポジトリの慣行に帰しており、観察される結果はエージェントと同程度にデプロイのコンテキストを反映しているとしている。
- 著者らは、結果に基づく指標はエージェントの能力とリポジトリのワークフローを混同していると論じ、評価は結果ラベルからエージェントの性能を推論するのではなく、やり取りのレベルの証拠を取り入れ、その証拠がない場合には不確実性を明示的に表現すべきだと主張する。
注記
著者らは妥当性へのいくつかの脅威を挙げている。エージェントの失敗とフィードバックループの操作的定義は、レビュアーの意図が暗黙的な場合に曖昧さを残すこと。サイレントなクローズのために、一部の判断根拠は観察できないこと。レビュー期間のような労力の指標は収集されておらず、人間が関与した 15.4% のマージのコストは定量化されていないこと。そして、スター数の多いオープンソースリポジトリと 5 つのエージェントに焦点を当てているため、より小規模なプロジェクト、プロプライエタリな環境、将来のエージェントシステムには一般化できない可能性があること。今後の課題として、手作業で整備したラベルを用いてワークフロー起因のクローズ、レビュアーの介入、フィードバックループの検出を大規模に自動化すること、そしてやり取りを考慮したベンチマークを構築することを提案している。