トルンのニコラウス・コペルニクス大学に所属する 5 名の著者によるショートペーパーで、グラスゴーで開催された第 30 回 International Conference on Evaluation and Assessment in Software Engineering（EASE 2026）で発表された。コーディングエージェントが作成したプルリクエストに人間が実際にどう反応しているかを調べている。著者らによれば、エージェントによるコントリビューションが一般的になりつつあるにもかかわらず、この問いについてはほとんど何もわかっていなかった。
この研究は、エージェントが作成したプルリクエストと人間が作成したプルリクエストを AIDev データセットから抽出し、対象をスター数 100 以上のリポジトリに限定したうえで、AIDev のレビュー記録を GitHub REST API で取得した追加データで補っている。比較対象は 2 つのリポジトリ集合である。1 つはエージェントが作成した PR を 1 件以上含むすべてのリポジトリ、もう 1 つはそれらのうち人間が作成した PR も含むリポジトリとの共通部分で、後者によって 2 種類の作成者を同じプロジェクト内で比較できるようにしている。ルールベースの正規表現分類器が、人間が書いた各レビューコメントを、エージェントステアリング、自動化／CI とのやり取り、人間による直接レビューの 3 カテゴリのいずれかに割り当てる。手作業で再ラベル付けした層化サンプルに対する正解率は 96.5%（800 件中 772 件）に達した。
著者らの中心的な主張は、量的なものではなく構造的なものである。すなわち、作成者がエージェントであっても人間の関与が消えるわけではないが、その関与の形が変わり、単独の評価から、PR のコメントスレッドを通じてエージェントを操縦する方向へと移っているという。
要点
- 人気リポジトリにおけるエージェント作成のプルリクエスト 33,596 件のうち、61.38%（20,621 件）には記録されたレビュー活動がまったくなく、38.62%（12,975 件）が少なくとも 1 件のレビューを受けていた。
- レビューを受けたエージェント作成 PR のうち、58.77%（7,625 件）はエージェントのみによってレビューされ、人間のみのレビューを受けたのは 10.14%（1,316 件）にすぎなかった。4,034 件では人間とエージェントの両方が関与していた。
- 観測可能な人間の関与という観点で見ると、エージェント作成 PR の 84.0%（33,596 件中 28,246 件）は、記録されたレビューがないか、エージェントのみによってレビューされていた。
- コメント単位では、エージェント作成 PR に付いた 39,122 件のレビューコメントのうち 71.58% がエージェント、28.42% が人間によって書かれていた。人間のコメントの内訳は、人間による直接レビューが 64.53%、エージェントステアリングが 28.37%、自動化関連が 7.10% だった。
- 同じリポジトリ内では、観測可能な人間の参加率はエージェント作成 PR と人間作成 PR でほぼ同じ（30.1% 対 30.8%）だった。論文の主張は、違いは参加の有無ではなく、その構成にあるというものである。
- 人間作成 PR は、エージェント作成 PR（8.08%）よりも人間のみのレビューを受ける割合がかなり高かった（25.21%）。一方、人間とエージェントが混在するレビューはエージェント作成 PR のほうが多かった（34.29% 対 21.86%）。この差の効果量は中程度（Cramér の V = 0.25）だった。
- 論文が報告する最も大きな差は、人間のコメントのカテゴリ構成に見られる（Cramér の V = 0.34）。エージェントステアリングは、エージェント作成 PR に対する人間のコメントの 25.92% を占めたのに対し、人間作成 PR では 1.63% だった。一方、人間による直接レビューは 93.56% から 65.53% に減少した。
- 著者らは、PR のコメントを使ってエージェントを操縦することは評価とやり取りの境界を曖昧にするため、従来のレビュー指標をそのまま人間による監督の尺度として読むべきではないと論じている。
補足
著者らは、記録されたレビュー活動がないことが人間による監督の欠如を意味するわけではない（メンテナーは追跡可能なコメントを残さずにプルリクエストを確認しているかもしれない）と明言しており、結果は文書化された判断過程ではなく、観測可能なやり取りのパターンを記述したものだと位置づけている。それでもコメントのない PR はすべて「レビューなし」に分類されている。論文によれば、黙った承認とレビューがまったくないことを区別する経験的根拠がないためである。
著者らはいくつかの限界を挙げている。レビューコメントは決定論的に分類されるため、短いコメントや曖昧なコメントは誤分類される可能性がある。検証で観察された誤分類は、主にエージェントステアリングと人間によるレビューのカテゴリの間で生じていた。また、レビュー活動の差は、プルリクエストの規模や複雑さ、リポジトリ固有のワークフローなど、この研究が統制していない要因の影響を受けている可能性もある。分析は AIDev データセットに含まれる GitHub リポジトリに限られ、比較はさらにエージェント作成と人間作成の両方のプルリクエストを含むリポジトリに絞られているため、著者らは結果が他の状況に一般化できない可能性があると注意を促している。論文は記述的な結果のみを報告しており、コードの品質やレビューの有効性は評価していない。
再現パッケージは https://github.com/ncusi/reviewing-ai-generated-prs-ease2026-short で公開されている。