このサーベイは、著者らが自動コードレビュー研究における空白と呼ぶものに取り組んでいる。自動コードレビューの評価に使われるデータセットは散在しており、設計も大きく異なり、実際にどのレビュー能力が評価されているのかについてほとんど手がかりを与えない。著者らによれば、コード生成のような隣接分野にはベンチマークのサーベイが存在するものの、コードレビューについては体系的なベンチマーク研究がまだなく、評価は一貫性を欠き不完全なままである。
著者らは、事前に定めた 20 の検索語で複数の学術データベースを検索し、対象を 2015 年以降の出版物に限定したうえで、後方・前方スノーボーリングで結果を拡張した。160 件の出版物を取得し、そのうち 77 件が採録基準を満たしたと報告している。採録基準は、コードレビューまたはレビュー関連のタスクを扱っていること、ソフトウェアエンジニアリングと AI の主要な会議・論文誌を優先すること、arXiv プレプリントは少なくとも 1 件の被引用がある場合にのみ採録すること、データセットまたは評価の詳細が開示されていることである。さらにスノーボーリングで 25 件の研究を加え、最終的に 99 本（LLM 以前の時代 58 本、LLM 時代 41 本）の論文集合とした。各論文からデータセット、評価指標、データソース、対象タスクを抽出し、オープンコーディングによって分類体系を構築した。第 1・第 2 著者が独立にラベル付けしたのちに調整を行い、評価者間一致度の Cohen の Kappa は 0.81 と報告されている。
比較は、LLM 以前の時代、LLM 時代、そして両者の間の変化を扱う 3 つのリサーチクエスチョンを軸に構成されている。著者らはタスクごとの表を示し、各データセットについて、そのタスク、オープンソースと非公開プロジェクトのどちらに基づくか、プロジェクト数、対象プログラミング言語、タスクが設定される粒度（チャンク、ファイル、メソッド、コミット、プルリクエストのいずれのレベルか）、データポイント数、使用される評価指標を記録している。
主なポイント
- コードレビュー研究の多階層の分類体系を提案している。これは 5 つの上位領域 ── レビューの優先順位付け／選択、変更の理解と分析、ピアレビュー、レビューの評価と分析、コードの改善 ── で構成され、18 のサブタスクに細分化されており、これらの領域をコードレビュープロセスの各段階に対応づけている。コードレビュータスク分類法 を参照。
- LLM 時代にはピアレビューのタスクが支配的になり、その時代の全データセットの 60% 近くを占めていると報告している。これに対して LLM 以前の時代には、タスク間の分布がより均衡していた。
- 変更の理解と分析は、LLM 以前の時代には 14 のデータセットを持つ研究の柱だったが、LLM 時代には 1 つのデータセットのみとなり、独立したトピックとしてはほぼ姿を消したと報告している。変更の分解と影響分析は完全に消滅した。著者らはこれを放棄ではなく統合と解釈している。すなわち、理解は独立した研究目標ではなく、コメント生成に組み込まれた前提条件として扱われるようになった。
- 言語固有のベンチマークから言語横断的なベンチマークへの移行を報告している。単一言語のデータセットは LLM 以前の時代の 59% から LLM 時代の 24% に減少し、9 言語以上をカバーするデータセットは 2% から 34% に増加した。Java の割合は約 61% から約 34% に低下し、Python が約 41% で最も多く使われる言語となった。
- 現在のベンチマークは影響分析やコミット分解といったマクロレベルのレビュー責務を見落としており、これらのデータセットが存在する場合でも Java、C、C# などの少数の言語に限られることが多いと論じている。
- 評価は静的な指標 ── テキストマッチングと分類の尺度 ── に依存しており、これらは機能的な正しさではなく正解データとの一致を捉えるにすぎないと論じている。そのため、文法的には完璧でもデッドロックを引き起こしたりコンパイルに失敗したりする修正提案でも高いスコアを得られてしまう。著者らはビルド成功率や回帰テストといった実行時の尺度を求め、その 1 つの手段としてコンテナ内でのサンドボックス化された検証を提案している。
- タスク分類体系に基づく粒度の細かいベンチマークを主張している。モデルのコード修正能力を単一の総合スコアではなく、リファクタリング、ドキュメントと可読性、正しさ、パフォーマンスといったサブタスクごとに測定すべきだという。
補足
著者らは自らの研究の妥当性への脅威を 2 つ挙げている。内的妥当性については、関連する研究が漏れている可能性を認め、AI 駆動のコードレビューが急速に成長しているため新しいデータセットが毎週のように登場し、完全な網羅性は動く標的であると述べている。これに対しては、前方・後方スノーボーリングを複数回繰り返し、既知のリポジトリや既存のサーベイと照合することで緩和したと報告している。構成概念妥当性については、タスクの分類が人間の解釈に左右されることを指摘し、各論文を少なくとも 2 名の著者が独立にラベル付けし、意見の相違は 3 人目のシニア研究者が裁定するという二重レビューのプロトコルを採ったと報告している。
このサーベイは、著者らが出版文化の変化と呼ぶものも観察している。2025 年に論文数が急増しており、その大部分は arXiv プレプリントによるものだと報告している。著者らはこれを LLM ベースの手法の急速な実験によるものとし、ベンチマークデータセットや評価研究が、しばしば正式な査読の前に、より速く大規模に流通するようになったことの表れと解釈している。 さらに、LLM 時代のあるレビューコメント生成データセットが後続の複数の研究で再利用されていること、また別の一群の研究が、同じ CodeReviewer 系のコーパスに由来する密接に関連した、あるいは重複するデータセットを用いていることも記録している。