本論文は、AI コーディングエージェント が提出したプルリクエストが、人間が書いたものとどう異なるかを問う ── コードの変更の仕方と、説明文がその変更をどれだけ正確に反映しているかの両面においてである。著者らは、GitHub Copilot、OpenAI Codex、Claude Code、Cursor、Devin のようなツールが今や自律的にコードを生成しプルリクエストを提出できるにもかかわらず、エージェントが作成したプルリクエストの大規模な分析はまだ乏しく、それなしでは、その信頼性、保守性への影響、レビュー中にどれだけ明確にコミュニケーションするかを判断するのは難しいと論じている。
研究では、MSR 2026 Mining Challenge 向けに提供された AIDev の版（2025 年 11 月 1 日取得）を用いている。論文によれば、この版には 116,211 のリポジトリにわたる 932,791 件のエージェント型プルリクエストと 6,618 件の人間のプルリクエストが含まれる。このデータセットの人間のプルリクエストにはコミットレベルの情報が欠けているため、著者らは GitHub REST API を通じてそのコミット、変更ファイル、差分を再構築し、そのうえで有効なパッチを持つマージ済みプルリクエストだけを残した。その結果得られた分析対象は、エージェント型プルリクエスト 24,014 件（440,295 コミット）と人間のプルリクエスト 5,081 件（23,242 コミット）である。
構造的な違いは Mann–Whitney U 検定で検定し、Cliff’s delta で効果量を求めた。説明文と差分の整合性は、語彙的には TF–IDF のコサイン類似度と Okapi BM25 で、意味的には説明文とクリーニング済みの差分それぞれの CodeBERT および GraphCodeBERT の埋め込みのコサイン類似度で測定した。著者らの結論は、エージェント型プルリクエストは構造的には人間のものと明確に異なるが、編集内容の説明の仕方はおおむね一貫している、というものである。
主なポイント
- エージェント型プルリクエストと人間のプルリクエストの最大の違いはコミット数である（Cliff’s δ = 0.5429、大きい効果）。変更ファイル数（0.4487）と削除行数（0.4462）は中程度の効果で異なり、追加行数（0.2836）と変更行数の合計（0.3158）は小さい効果でしか異ならない。すべての違いは統計的に有意である（p ≤ 0.001）。
- 人間のプルリクエストは最も大きく、最もばらつきの大きいコード変更を示す。エージェント型のものは、より小さく局所的な編集を行い、より少ないコミットでより少ないファイルに触れる傾向がある。
- エージェント型プルリクエストは一様ではない。Claude Code と OpenAI Codex はばらつきが大きい一方、Devin、Cursor、そしてとりわけ Copilot は一貫して小さく局所的な変更を生み出す。
- 著者らの結論は、エージェント型プルリクエストを最も特徴づけるのは、何行変更するかではなく、変更をコミットやファイルにわたってどう組織し分散させるかだということである。
- 説明文と差分の語彙的類似度は両グループともゼロ付近に集中する一方、意味的類似度は 0.9 から 1.0 の間に集中しており、言葉遣いが異なっていても、どちらの説明文もパッチの意味を捉えていることを示唆している。
- エージェント型プルリクエストは、4 つの類似度指標すべてで人間のものより平均してわずかに高いスコアを示す ── たとえば CodeBERT 類似度の平均は 0.9356 対 0.9285、GraphCodeBERT 類似度の平均は 0.8254 対 0.7815 ── であり、最も明確な違いは意味的指標に現れている。
- Okapi BM25 は上限がなく、特にエージェント型プルリクエストでばらつきが大きいことが判明したため、著者らはこれを較正された類似度指標ではなく、大まかな語彙的指標としてのみ扱っている。
補足
著者らは、レビューやトリアージでは、コード行数だけでなくコミット数や変更ファイル数を、エージェント型プルリクエストの規模を早期に示す指標として使えること、そして削除の多いエージェント型プルリクエストや範囲の広いものはより綿密なレビューに値する可能性があることを示唆している ── ただし、これらの構造的なパターンを具体的なリスクと結びつけるにはさらなる研究が必要だとも述べている。また、一貫して高い説明文と差分の整合性は、リリースノートの生成、変更履歴（changelog）の作成、レビュアーの割り当てといったタスクを支えうること、そして整合性が異常に低いものを自動チェックでフラグ付けできることも示唆している。
著者らが述べている妥当性への脅威は次のとおりである。結果は AIDev および再構築した人間の PR のコミットデータの完全性に依存しており、それは GitHub API のレート制限、削除されたリポジトリ、書き換えられた履歴、切り詰められた差分の影響を受けうること。構造的な指標は規模を近似するが意図や正しさは近似せず、類似度は整合性を測るがコード品質やレビュアーの理解は測らないこと。そして知見は AIDev に含まれるオープンソースの GitHub プロジェクトとエージェントのバージョンに一般化されるものであり、プライベートな環境や産業環境、あるいはエージェントの進化に伴って異なる可能性があることである。
本論文は、第 23 回 International Conference on Mining Software Repositories（MSR ‘26、2026 年 4 月 13〜14 日、リオデジャネイロ）で、Creative Commons Attribution 4.0 ライセンスのもとで発表された（DOI 10.1145/3793302.3793603）。ここで参照した版は arXiv:2601.17581v3 [cs.SE] で、2026 年 4 月 6 日の日付が付されている。著者は 2 人ともネバダ大学ラスベガス校に所属しており、整理済みのデータと分析スクリプトを含むレプリケーションパッケージが公開されている。