AIDev は、実世界のオープンソース GitHub リポジトリにおいて AI コーディングエージェントが作成した 932,791 件のプルリクエスト（エージェント型プルリクエスト、「Agentic-PR」）のデータセットであり、クイーンズ大学の研究者によって AIDev: GitHub 上の AI コーディングエージェントの研究 で導入された。116,211 のリポジトリと 72,189 人の開発者にまたがり、データセットのカットオフは 2025 年 8 月 1 日で、OpenAI Codex、Devin、GitHub Copilot、Cursor、Claude Code の 5 つのエージェントによる PR を集約している。GitHub のスター数が 100 を超える 2,807 のリポジトリから精選された 33,596 件のエージェント型プルリクエストのサブセットには、さらにレビューコメント、コミット単位の差分、issue へのリンク、プルリクエストのイベントの完全なタイムラインが付与されている。研究上の価値は、エージェントが作成したプルリクエストがどうなったのか — どのようにレビューされ、マージされたのかどうか — を、それ以前の統制された研究や小規模な導入事例では到達できなかった規模で問えるようにする点にある。
内容
AIDev: GitHub 上の AI コーディングエージェントの研究 は、データセットのテーブルを 5 つのファミリーに分類している。コアメタデータ — all_pull_request（932,791 レコード：タイトル、本文、エージェント、状態、タイムスタンプ、リポジトリ、ユーザー）、all_repository（116,211：名前、ライセンス、言語、URL、スター数、フォーク数）、all_user（72,189：ログイン名、フォロワー数、作成日）— はデータセット全体をカバーする。スター数 100 以上の精選サブセットは、同じ 3 つのテーブルをより小さな規模で繰り返している（pull_request：33,596、repository：2,807、user：1,796）。Comments & Reviews は、pr_comments（39,122 件のディスカッション形式のコメント）、pr_reviews（28,875 件のレビューの判定 — 承認または変更要求）、pr_review_comments（19,450 件のインラインのコードレビューコメントで、ファイルレベルのコンテキスト：パス、差分ハンク、タイムスタンプを伴う）を追加するが、これらは精選サブセットでのみ利用できる。Commits & Diffs は pr_commits（88,576）と pr_commit_details（711,923 件のファイルレベルのコミット差分）を追加する。Issues & Events は related_issue（4,923）、issue（4,614）、pr_timeline（committed、closed、merged、labeled、reviewed などの 325,500 件の PR イベント）を追加する。Annotation テーブルである pr_task_type（33,596）は、精選された各 PR の目的について、Conventional Commits のカテゴリに従った GPT ベースの自動分類を保持している。
エージェントが作成したデータに加えて、探しているレビューはこれではない：AI 生成プルリクエストを人間はどうレビューしているか は、AIDev が人間の作成したプルリクエストの層化サンプルも提供していると説明している。このサンプルは AI が生成したプルリクエストの特性に合わせて構築されており、これによって同じリポジトリ内で 2 種類の作成者を同条件で比較することが可能になる。同研究は、このデータセットがエージェントによる作成か人間による作成かを識別するメタデータを備えていること、そしてエージェントが作成した PR を含むリポジトリについてはレビュー活動の全体を含んでいることを報告している。一方で、人間が作成した側からのみ到達したリポジトリのレビュー記録は、GitHub REST API を通じて別途取得する必要があった。
業界の主張から実証的な現実へ：プルリクエストにおけるコードレビューエージェントの実証研究 は、上記のレビューコメントのデータをもとに、レビューコメントのテーブルが、コメントを投稿した者の名前、そのアカウントを User か Bot のいずれかとして示すカテゴリ値の user_type、コメント本文そのもの、そして親となるプルリクエストを識別する API エンドポイントを保持していると読み取っている。なお、Bot の値はあらゆる自動化アカウントを含み、レビュアーとビルド実行系を区別しないため、コードレビューエージェント のアカウントを CI/CD のアカウントから切り分けるには手作業による分類が必要となる。同研究はまた、レビュー状態のフィールドが 4 つの値 — 明示的な判断を伴わない一般的なフィードバックを表す COMMENTED、APPROVED、CHANGES_REQUESTED、DISMISSED — のいずれかをとること、そしてプルリクエスト自体の merged_at タイムスタンプは一度もマージされなかったプルリクエストでは null になることを読み取っており、これらを合わせることで、マージされたプルリクエストと放棄されたものを区別できる。
規模について、同研究はレビューコメントのデータを少なくとも 1 件のレビューコメントを持つプルリクエストに絞り込み、精選サブセットの 33,596 件のうち 3,177 件の異なるプルリクエストを得ている。
出自
AIDev は Hugging Face の hao-li ネームスペースと Zenodo を通じて配布されており、サンプルの Jupyter ノートブックと Google Colab へのリンクが付属の GitHub リポジトリで公開されている。Hugging Face 上では、ブラウザ内での SQL クエリをサポートする「Data Studio」インターフェースを通じて対話的に探索できる。対象範囲は、2025 年 8 月 1 日のカットオフまでに AI が生成したコードを含むオープンソースの GitHub リポジトリに限られており、これが AIDev から導ける結論の範囲を制約する。AIDev から得られた知見は、プロプライエタリなリポジトリ、他のホスティングプラットフォーム、対象の 5 つ以外のエージェント、あるいはカットオフ日以降の活動には自動的には当てはまらない。
作成者のラベル付けは完全にクリーンではなく、少なくとも 1 つの研究が使用前に修正を必要とした。探しているレビューはこれではない：AI 生成プルリクエストを人間はどうレビューしているか は、人間が作成したとラベル付けされたプルリクエストの一部が実際には自動化エージェントによって作成されていたと報告しており、2 段階のフィルタリング手順 — まずユーザー名の「[bot]」パターンに一致させ、次に PR 本文の AI 関連キーワードに一致させる — を経て、一致したものをすべて手作業で確認したうえで、そのうち 1,044 件を除外した。同研究はまた、一部の自動レビューの仕組みがアカウント種別 Bot ではなく User として現れることを報告しており、誤分類された人間作成のコメントを、エージェント作成側から 588 件、人間作成側から 539 件除外した。
利用
業界の主張から実証的な現実へ：プルリクエストにおけるコードレビューエージェントの実証研究 は AIDev を用いて、レビュアーの種類ごとにマージの結果を比較した。少なくとも 1 件のレビューコメントを持つ 3,177 件のプルリクエストから出発し、コードレビューではなく CI/CD やワークフロー自動化を行うボットアカウントを除外して、実際のコードレビューエージェントがレビューした 3,109 件のプルリクエストからなる作業セットを得た。そのうち 2,456 件が Commented のレビュー条件に該当し、エージェントのみがレビューしたプルリクエストはそれ以外の条件には現れなかったため、同研究はこれを人間とエージェントの比較の基礎として用いた。
探しているレビューはこれではない：AI 生成プルリクエストを人間はどうレビューしているか は AIDev を用いて、エージェントが作成したプルリクエストに対する人間のレビュー活動を特徴づけ、それを同じリポジトリ内の人間が作成したプルリクエストと比較した。同研究は、人気リポジトリにおけるエージェント作成の PR 33,596 件のうち 61.38% がレビューの記録を持たなかったこと、それらに対する 39,122 件のレビューコメントのうち 71.58% がエージェントによって書かれていたこと、そして エージェントステアリング が、エージェント作成の PR に対する人間のレビューコメントの 25.92% を占めたのに対し、人間作成の PR では 1.63% にとどまったことを報告している。
エージェント型ソフトウェアエンジニアリング：基盤となる柱と研究ロードマップ は、AIDev から取得したエージェント作成のプルリクエストにおけるリファクタリングについての別の実証研究に言及しており、エージェントは局所的で一貫性を志向したリファクタリングを頻繁に行う一方、高レベルのアーキテクチャ変更は人間の開発者よりも少ないと報告している。
エージェント型プルリクエストはなぜマージまたは却下されるのか？ 実証研究 は AIDev をもとに、エージェントが作成したプルリクエストがなぜマージされ、あるいは却下されるのかを問うた。同研究はデータを、スター数が 500 以上のリポジトリにおいて明示的なマージまたは却下の判断を伴うクローズ済みプルリクエスト — 11,048 件の PR（マージ 6,774 件、却下 4,274 件）— に限定し、さらに人間のコメントがない 1,249 件の PR を除外して、人間がレビューした 9,799 件の PR を残した。そのうち 717 件の層化サンプルを手作業で検査している。同研究は、そのサンプル中の却下された PR のうち明確なエージェントの失敗を反映していたのは 35.7% にすぎず、マージされた PR の 15.4% には明示的なレビュアーの関与があったと報告している。