本論文は、公開 GitHub において AI コーディングエージェントが他の AI コーディングエージェントのプルリクエストをどのくらいの頻度でレビューしているのか、そしてレビュアーが生み出すものはどのエージェントがコードを書いたかによって変わるのか、を問うものである。母集団は、GHArchive から抽出されたコーディングエージェントの GitHub イベントの公開データセットである CodAGE に 2 段階のシグネチャ帰属手法を適用して構築し、2024〜2026 年にわたって AI が作成した PR と AI に帰属されるレビューイベントを結びつけている。得られたデータセットは、少なくとも 1 件の AI に帰属されるレビューを受けた、AI に帰属される一意の PR 248,641 件をカバーする。そのうち 45,269 件は製品をまたいで、208,145 件は同一製品内でレビューされており、4,773 件は両方を受けている。
普及度について、本論文の知見は、クローズドループ AI レビュー はエージェントの活動のうちでは少数派であるものの、絶対数ではすでに大きく、急激に増加しているというものである。レビュアーの振る舞いについては、レビュアーを CodeRabbit に固定して作成側のエージェントを変化させ、さらにそれとは別に、PR あたりのコメント量と PR 作成から最初のレビューまでの時間について、同一製品の組み合わせと製品をまたぐ組み合わせを比較している。
本論文は、自らの数値が示さないことについて異例なほど慎重である。件数はシグネチャ帰属を条件とした下限値として示されている。レビュアーの出力の尺度は、検証済みの欠陥ラベルではなく CodeRabbit 自身が自己申告するコメントカテゴリである。そして、同一製品と製品をまたぐ場合の比較は観察的なものと位置づけられており、変更の規模、言語、リポジトリ、レビュアーの構成が統制されていない要因として挙げられている。本論文は、2026 年 10 月 8〜9 日にミュンヘンで開催される第 20 回 International Symposium on Empirical Software Engineering and Measurement（ESEM 2026）の Emerging Results, Vision & Reflection トラックに、CC BY 4.0 のもとで arXiv:2608.21311v1 として掲載されている。研究の一部は NSERC の助成金 RGPIN-2025-05897 の支援を受けており、再現用パッケージは https://github.com/Niruthiha/AI-AI-CodeReviews で公開されている。
主なポイント
- 本論文は「クローズドループ AI レビュー」を観測可能な意味でのみ定義している。すなわち、AI がプルリクエストの両側を占めているということである。レビューのストリームは AI に帰属されるイベントに限定されているため、人間が不在だったことは明示的に意味しておらず、データセット中の PR が観測されなかった人間のレビューも受けていた可能性がある。
- 特定されたエージェント作成の PR 2,830,284 件のうち、248,641 件（8.8%）が少なくとも 1 件の AI レビューを受けており、45,269 件（1.6%）が製品をまたいでレビューされていて、それらは 10,345 のリポジトリにわたる。
- 製品をまたぐクローズドループレビューは 2025 年第 1 四半期の 57 件から 2025 年第 3 四半期の 25,492 件に、同一製品では 40 件から 57,080 件に増加した ── いずれも 2 桁以上の増加である。GHArchive の帰属はイベントデータより約 1 四半期遅れるため、2025 年第 4 四半期の件数は下限値として扱われている。
- 帰属は 2 段階である。高い確度を持つ本文シグネチャ（PR 本文中の
Co-Authored-Byトレーラーやベンダーのエージェント URL など）か、ベンダーが管理するログイン名（coderabbitai[bot]など）との完全一致である。ブランチ名のプレフィックスは記録されるが、ユーザーが制御できるため、それ単独では決して十分とされない。 - この厳格さは作成者側で大きなコストを伴う。候補 PR の 38.0% が隔離され、そのうち 96.9% はブランチ名のみが一致したことによるものだった ── そのため、エージェント作成の母集団は、より緩いルールで認められるものすべてではなく、本文またはログインのシグネチャを持つ 62.0% である。
- 製品をまたぐ作成者としては OpenAI Codex が圧倒的であり（31,601 件の PR、製品をまたぐ集合の 69.8%）、レビュアーとしては Copilot が圧倒的である（作成者とレビュアーのペア 47,259 件中 21,022 件）。最頻の組み合わせは Codex が作成し Copilot がレビューするもので、18,114 ペアである。
- エージェントが自社製品によってレビューされるかどうかは大きく偏っている。Copilot（95.7%）、Amazon Q（91.8%）、Devin（76.5%）は主に自社製品内でレビューされ、OpenAI Codex は 54.1% と均衡しており、Cursor（0.0%）、Google Jules（0.0%）、Claude Code（0.5%）はほぼ完全に製品をまたいでレビューされている。
- CodeRabbit をレビュアーとして固定すると、そのコメントカテゴリの構成は作成側のエージェントによって異なる。Claude Code の PR へのコメントの 35.0% が refactor とラベル付けされているのに対し、Copilot の PR では 10.5% であり、24.5 パーセントポイントの差がある（95% CI [23.1, 25.9]）。全体としての関連は統計的に有意だが小さい（Cramér の V = 0.150）。
- 本論文は、この差がレビュアーではなく PR 自体に起因する可能性があることを明言しており、コード品質については何も主張していない。
- 両方の役割を担う 4 つのレビュアーのうち 3 つは、同一製品の PR に対して PR あたり 58〜65% 多くのコメントを生成した（Copilot 1.49 → 2.35、Devin 1.09 → 1.80、Amazon Q 4.94 → 8.08）が、OpenAI Codex は例外で 0.91 対 0.89 だった。効果量は小さいか無視できる程度（Cliff のデルタ 0.02〜0.27）であり、この差は母集団全体の変化ではなく右側の長い裾によるものとされている。
- タイムスタンプが完全かつ非負のペアに限ると、PR 作成から最初の AI レビューまでの時間の中央値は、製品をまたぐ場合で 1.2 分、同一製品で 4.7 分だった ── これは「製品が自社のものを形だけ承認する」という解釈とは逆の結果である。本論文はこれを構成の違いに帰している。Gemini Code Assist（中央値 0.5 分）のような速いレビュアーは製品をまたぐ場合に多く、Copilot（中央値 17.7 分）は同一製品の集合で大半を占めている。
- タイムスタンプの完全性はグループ間で大きく異なっていた ── 製品をまたぐペアの 79.2% が残ったのに対し、同一製品のペアでは 31.9% ── ため、本論文はレイテンシの比較を記述的にのみ読むべき理由としてこれを挙げている。
- 同一製品と製品をまたぐ場合は、親会社や基盤モデルではなく、識別可能なエージェント型製品またはハーネスのレベルで定義されている。Google Jules と Gemini Code Assist はベンダーが同じでも別の製品として扱われ、製品をまたぐ PR 45,269 件のうち 117 件を占めている。
- この研究は、マッチングした人間作成の対照群を分析しておらず、レイテンシの数値を人間のベースラインと比較してもいない。
注記
本論文は、既存の 2 つの研究の流れに対して自らを位置づけている。1 つはエージェントが作成した PR に関する研究で、エージェントが書いたコードが受け入れられるかどうかを問うもの、もう 1 つはレビュアー側のボットに関する研究で、両方の役割を担うエージェントからなる現在のエコシステムより前のものである。本論文が新規性として主張するのは、製品単位で分解した作成者とレビュアーのペアリングを大規模に行ったこと ── どのエージェントがどのエージェントをレビューしているか、そして観測可能な振る舞いが同一製品と製品をまたぐ構成とで異なるかどうか ── である。
著者ら自身が述べる限界は多岐にわたる。帰属は、シグネチャが欠落している、カタログ化されていない、またはスカッシュマージで除去されたエージェントを過少に数える可能性があり、過少帰属は非対称である。主要なレビュアーがベンダー管理のボットのログイン名で投稿するレビュアー側では少なく、本文のトレーラーに依存する作成者側では多い。シグネチャがないことは、その PR が AI によって作成またはレビューされなかった証拠ではない ── そうした PR はそもそも母集団に入らない。カバー範囲は公開 GitHub のみで、プライベートリポジトリ、GitHub Enterprise、その他のプラットフォームは除外されており、これらの統合を導入したリポジトリを条件としている。
著者らが示す今後の研究は、主にこの手法では届かないことに関するものである。コメント量やカテゴリの構成は、レビューがコードを改善したかどうかを示さないため、レビューコメントについて正確性、位置特定、重大度、実行可能性の観点から人間がアノテーションを行い、採用された提案、その後のコミット、CI の結果、マージ、リバートといった結果と結びつけることを求めている。また、製品レベルの帰属はモデルレベルの帰属ではないため、同一製品と製品をまたぐことは、同一モデルと別モデルを意味しないとも指摘している ── ソフトウェアエンジニアリング以外の研究から著者らが述べるように、モデルの評価者は自らの出力に似た出力を好む可能性があるため、この区別は重要である。AI の作成者とレビュアーが相関した盲点を共有しているかどうかを検証するには、欠陥を注入した統制されたベンチマークが必要であり、公開記録ではそれを提供できない。