本論文は、業界の報告でなされている主張をリポジトリのデータと突き合わせる。対照として取り上げる 主張は、コードレビューエージェント の導入によってプルリクエストのおよそ 80% を人間のコメント なしで処理できるというものであり、著者らはこの数字を Qodo と Greptile の報告に帰している。これに 対して著者らは、先行研究から読み取れる実証的な姿、すなわちエージェントのコメントは人間のコメントに 比べてはるかに対応されにくいという姿を示す。明言された目的は、コードレビューエージェント（CRA）が プルリクエストのマージの可否に実際にいつ、どのように影響するかを明らかにすることであり、そのために 2 つの点、すなわち誰がレビューしたか、そしてレビュアーの発言のうちどれだけが対応に値するものだったか を調べる。
この研究は AIDev を出発点とし、そこに含まれるレビューコメントが 1 件以上あるプル リクエスト 3,177 件を取り出したうえで、コードレビューではなく CI/CD やワークフロー自動化を行う ボットアカウントを除外し、3,109 件の作業用データセットを得ている。各 PR には、レビュアー構成 （人間のみ、CRA のみ、または 3 種類の混合カテゴリのいずれか）と結果（マージ、マージされずにクローズ （放棄と解釈）、未解決のまま）のラベルが付けられる。CRA だけがレビューしたプルリクエストは Commented のレビュー状態でのみ現れることが判明したため、著者らは人間とエージェントの比較をその状態に ある 2,456 件の PR に限定している。2 つ目のリサーチクエスチョンでは、クローズされた CRA のみの PR 98 件を取り上げ、それぞれのコメントを シグナル対ノイズ比（コードレビュー） の指標で採点し、2 段階の キーワード階層に照らしてコメントを分類している。
中心的な結果は、CRA のみがレビューした PR のマージ率が 45.20% であるのに対し、人間のみの PR では 68.37% であり、放棄率は 34.88% 対 21.60% だったというものである。シグナル分析はこの差に対する著者らの 説明を与えている。放棄されたプルリクエストの大半には、主としてノイズの多いコメントが付いていた。 実務者への提言もそれに応じて限定的であり、CRA は人間のレビュアーを置き換えるのではなく補強すべきで あり、汎用的なレビューではなくセキュリティやスタイルといった特定のチェック向けに設定すべきだとする。
本論文は 2026 年 4 月 13〜14 日にリオデジャネイロで開催された第 23 回 International Conference on Mining Software Repositories（MSR ‘26）で発表され、DOI は https://doi.org/10.1145/3793302.3793614 である。Creative Commons Attribution 4.0 International License のもとで配布されている。
要点
- CRA のみがレビューしたプルリクエストのマージ率は 45.20%（281 件中 127 件）で、人間のみがレビュー したプルリクエストの 68.37%（1,176 件中 804 件）と比べて 23.17 ポイントの差がある。いずれの数字も Commented のレビュー状態にある 2,456 件の PR のみから得られている。
- CRA のみがレビューした PR がマージされずにクローズされた割合は 34.88%（281 件中 98 件）で、人間 のみの 21.60%（1,176 件中 254 件）を上回った。著者らはマージなしのクローズを放棄と解釈している。
- レビュアーの種類と結果の独立性に関するカイ二乗検定は、自由度 8 で χ² = 83.0319、p < 0.001 を 示した。著者らは妥当性への脅威の中で、これは関連を示すものであって因果を示すものではないと述べて いる。
- 混合のレビュアーカテゴリは両極端の間に位置した。人間主体のレビューではマージ率 67.99%、CRA 主体 では 63.25%、件数が同数の場合は 61.09% だった。著者らはこれを、エージェントが同時に関与している 場合でも人間の関与が結果を改善することを示すエビデンスとみなしている。
- クローズされた CRA のみの PR 98 件のうち、59 件（60.2%）がシグナル比 0〜30%、14 件（14.3%）が 31〜59%、7 件（7.1%）が 60〜79%、18 件（18.4%）が 80〜100% だった。この分布は放棄された PR のみを 記述したものであり、本論文はマージされた PR について同じ内訳を報告していない。
- そのクローズされた集合に現れた 13 種類の CRA のうち、12 種類（92.31%）は平均シグナル比が 60% 未満 だった。エージェント別の平均の最高値はごく少数の PR に基づいている。あるエージェントは 1 件の PR で 100.00% を記録し、意味のある件数を持つエージェントの中で最も成績の良いものは 7 件で 52.29% だった。
- サンプル内では PR の件数とフィードバックの質は無関係だった。クローズされた集合で最も大きな割合を 占めた 2 つのエージェントのスコアは 27.62%（36 件の PR）と 19.79%（24 件の PR）だった。
- コメントの量はそれだけでは質を予測しなかった。著者らは、最もスコアの高い PR はコメント 1〜3 件に 集中していた一方、最もスコアの低い PR は 1〜8 件に分散していたと報告し、重要なのは対応可能な フィードバックの割合であると結論づけている。
- CRA だけがレビューしたプルリクエストは、Commented のレビュー状態にのみ現れた。著者らはこれを、 単独の CRA レビュアーは自ら承認、却下、変更要求を行えないことを示すものと解釈している。
補足
本論文は 2 つの研究群に対して自らを位置づけている。業界側では、高い自律レビューのカバー率を主張する ベンダーの報告やブログ記事を引用している。タイトルの「業界の主張」が指すのはこれらの主張であり、 本論文はその数字を確立した結果ではなく検証すべき主張として扱う。研究側では、エージェントが作成した プルリクエストが何を変更するか、メンテナがレビューボットをどう受け止めているか、そして言語モデルが そもそもレビュー内容を理解しているかに関する先行研究を引用し、いずれもレビュアー構成とコメントの質を マージや放棄という結果に結びつけてはいないと論じる。これが本論文が埋めると主張するギャップである。
著者らは自身の研究の限界を 3 つ挙げている。キーワードに基づくシグナル分類は、一致するキーワードを 使わない対応可能なフィードバックを見落とす可能性があり、またキーワードを含むが無関係なコメントを シグナルとしてラベル付けする可能性もある。その緩和策として、手作業による検証と 2 名の独立した評価者を 報告している。手作業による分類がバイアスを持ち込みうることも注記している。そして外的妥当性の主張を AI 生成コードを含むオープンソースの GitHub リポジトリに限定し、知見はプロプライエタリなリポジトリ、 他のプラットフォーム、あるいは CRA をまったく使わないプロジェクトには当てはまらない可能性があると 述べている。
分析コードと派生データは Figshare のデポジットを通じて公開されているとされている。