この論文（MSR ‘26）は AIDev を導入している。これは、116,211 の実世界の GitHub リポジトリと 72,189 人の開発者から収集した、エージェントが作成した 932,791 件のプルリクエスト（「Agentic-PR」）の データセットであり、PR の作成者は OpenAI Codex、Devin、GitHub Copilot、Cursor、Claude Code の 5 つの コーディングエージェントで、データセットのカットオフは 2025 年 8 月 1 日である。GitHub のスター数が 100 を超える 2,807 のリポジトリから精選された 33,596 件の Agentic-PR のサブセットには、さらに レビューコメント、コミット単位の差分、issue へのリンク、プルリクエストのイベントの完全なタイムラインが 付与されている。データセットは Hugging Face と Zenodo で配布されており、サンプルの Jupyter ノートブックが GitHub で公開されている。
論文は、AI コーディングエージェントに関する既存の証拠の多くが、大規模な実世界の活動ではなく、統制された 研究、ベンチマーク、あるいは小規模な導入事例に由来していると論じて AIDev の意義を示し、実際のリポジトリ 上で動作するコーディングエージェントの導入状況、コードパッチの特性、テストの振る舞い、レビューの 力学、失敗パターンとリスクを実証的に研究するための基盤として、このデータセットを提案している。
要点
- AIDev を導入。116,211 のリポジトリと 72,189 人の開発者にまたがり、5 つのエージェント（OpenAI Codex、Devin、GitHub Copilot、Cursor、Claude Code）が作成した 932,791 件の Agentic-PR を集約している
- GitHub のスター数が 100 を超える 2,807 のリポジトリから精選された 33,596 件の Agentic-PR の 拡充サブセットを提供しており、コメント、レビュー、コミット、関連する issue も追加で収録している
- Conventional Commits のカテゴリに従った PR の目的（バグ修正、機能、ドキュメントなど）の自動 アノテーションを含み、これは GPT ベースの分類によって生成されている
- 導入と実践、コードパッチの特性、テストの振る舞い、レビューの力学、失敗パターンとリスクという 5 つの領域にわたる研究課題の例を提案している
- 関連研究のレビューにおいて Agentic-PR をそれ以前の自動化研究の中に位置づけ、ルールベースのボットや 依存関係更新ボットは、人間のコントリビューターに見られる主体性、文脈に基づく推論、対話的なやり取りを 示すことはまれであること、また LLM の支援を伴う PR は、定型的なボットのコントリビューションよりも クローズまでに時間がかかり、より重いレビューを受けることを指摘している
注記
- データセットのカットオフ日は 2025 年 8 月 1 日であり、そこから得られる知見はその日付までの エージェントの振る舞いのみを反映している
- この論文は実証的な知見を示す論文ではなく MSR ‘26 で発表されたものであり、研究課題に答えるのではなく、 データセットの構造を説明し研究課題を提案している