本論文は、コードレビューへの生成 AI の登場がレビューの効率とレビューの品質にどのような影響を 与えたかを研究する。前提となるのは、コードレビューはコード統合の前にソフトウェア品質を維持する のに役立つ一方で、人間のレビュアーに大きな作業負荷を課すということ、そしてこのプロセスが主に 人間によるものから、大規模言語モデルのレビュアーや AI エージェントのレビュアーが人間と並んで 参加する AI 支援型のレビューへと移行しつつあるということである。著者らは、この移行がもたらす 影響についての実証的なエビデンスが不足していたと述べている。
この研究は、人間中心のレビュー、LLM 支援のレビュー、そして エージェント型コードレビュー という 3 つのコードレビューの時代を移行してきた 207 の GitHub プロジェクトから、レビュー済みの 102 万件のプルリクエストを調べている。その資料の中から著者らは、段階的 AI 導入（Gradual AI Adoption）、急速な LLM 導入（Rapid LLM Adoption）、急速な AI エージェント導入（Rapid AI Agent Adoption）という 3 つの AI レビュアー導入のあり方を特定する。さらに、プルリクエストのレビュー 議論をレビュアーの相互作用シーケンスとしてモデル化し、人間、LLM、AI エージェントのレビュアーが レビュー中にどのように協働するかを特徴づけている。
中心的な結果は、効率と品質の乖離である。エージェントが関与する協働パターン、とりわけ AI エージェント によって開始されたレビューや複数の AI エージェントが関与するレビューは、段階的 AI 導入と急速な AI エージェント導入のもとで、より速いレビュー判断と関連している。著者らは、こうした効率の向上が より良いレビュー品質にはつながらないと報告している。また、レビュー活動とプルリクエストの種類は 3 つの時代すべてを通じて重要であり続ける一方、LLM や AI エージェントのレビュアーが参加するように なると、人間と AI の協働パターンがレビュー効率を最もよく説明する要因になることも見出している。
要点
- 人間中心、LLM 支援、エージェント型という 3 つのコードレビューの時代を移行してきた 207 の GitHub プロジェクトから、レビュー済みの 102 万件のプルリクエストを研究する
- 3 つの AI レビュアー導入のあり方として、段階的 AI 導入、急速な LLM 導入、急速な AI エージェント 導入を特定する
- レビュー議論をレビュアーの相互作用シーケンスとしてモデル化し、人間、LLM、エージェントの協働を 特徴づける
- エージェントが関与する協働パターン、とりわけエージェントが開始したレビューと複数のエージェントが 関与するレビューが、段階的 AI 導入と急速な AI エージェント導入のもとで、より速いレビュー判断と 関連していることを見出す
- こうした効率の向上がより良いレビュー品質にはつながらないと報告する
- LLM やエージェントのレビュアーが参加するようになると、人間と AI の協働パターンがレビュー効率を 最もよく説明する要因になる一方、レビュー活動とプルリクエストの種類はすべての時代を通じて重要で あり続けることを見出す
補足
エージェントが関与する協働とより速い判断との関連は、一様に成り立つものではなく、本論文が特定した 3 つの導入のあり方のうち 2 つのもとで成り立つと報告されている。この研究は GitHub プロジェクトから 得た観察研究であるため、その知見はこの移行を経たプロジェクトを記述するものであり、高速化の原因を 立証するものではない。