Microsoft の Emerson Murphy-Hill、Jenna Butler、Alexandra Savelieva による本論文は、Microsoft が 2026 年初頭にエンジニアへ 2 つのエージェント型コマンドラインツール、Claude Code と GitHub Copilot CLI を提供した経験を調査したものである。こうした展開には必ず 3 つの関心事が伴うと位置づけている ── どのエンジニアが導入するか、使い続けるか、そしてトークンコストを正当化するだけの追加の成果を生むか ── であり、本論文は、開発者単位のテレメトリを用いてエージェント型コマンドラインツールの導入とプルリクエスト成果への影響の両方を分析した最初のフィールド研究であると自らを位置づけている。著者らはこれを、調査票、インタビュー、ラボ課題に依拠するとされる先行の導入研究や、コミットの co-author トレーラーのような公開リポジトリ上のシグナルから AI の利用を推定する先行の影響研究と対比している。後者では「非導入者」が、単に利用の痕跡を残さなかった人である可能性がある。
研究は 2 つの部分からなる。導入研究は、展開時点で対象となる母集団が明確に定義されていた Copilot CLI のみを扱う。エンジニア×週のパネル上で初回利用を離散時間ハザードとしてモデル化し、継続利用（初回利用から 14 日間のうち少なくとも 5 日に活動があること）をロジスティック回帰でモデル化している。予測変数には、社会的な接触、IDE での Copilot の利用歴、ベースラインのプルリクエスト活動、キャリア段階、在籍年数を用いている。成果研究は両ツールを対象にマージされたプルリクエストを測定しており、まず CausalImpact で構築した合成コントロールによる反実仮想を用い、次に個人内の固定効果モデルを用いている。2026 年 1 月 5 日を展開日とし、観察期間は 2026 年 4 月 29 日までである。結果の解釈には、「Agentic Engineering Day」の参加者 609 人を対象とした社内調査を補助的に用いている。
主なポイント
- 導入は大きく社会的なものだった。スキップレベルの同僚の多くが Copilot CLI を使っている（4 分の 1 超が使っている）エンジニアは、試用するオッズが 216% 高く、これが見つかった中で最も強いシグナルだった。直属の上司の利用は、試用するオッズが 82% 高く、使い続けるオッズが 22% 高いことと関連していた。
- IDE での Copilot の利用歴は逆方向に作用した。Copilot CLI を試用するオッズを高めた（利用歴 60 日以上で最大 83%）一方、継続利用の低さ（−12% から −15%）と関連しており、著者らはこれを、エンジニアに慣れ親しんだ代替手段があるためだと解釈している。
- 忙しいエンジニアほど Copilot CLI を試用し、使い続ける傾向が強かった一方、キャリア段階と在籍年数はほとんど影響しなかった。著者らは、エンジニアが組織の中で誰であるかよりも、何をしているかのほうが導入と継続利用をはるかによく説明すると結論づけている。
- CausalImpact は、早期導入者について、事後期間におけるエンジニア 1 人 1 日あたりのマージされた PR が +24.0%（95% CI +14.5% から +33.7%）上昇したと推定し、この上昇は 4 か月の期間にわたって統計的に識別可能な減衰を示さなかった。プラセボ介入の結果は −1.1% だった。
- 個人内で見ると、マージされた PR の上昇は週あたりのツール利用日数とともに大きくなり、週 3 日で +15.0%、週 5 日以上で +50.1% だった。著者らはこれを因果ではなく関連として解釈している。
- 単一ツールの利用者に限ると、Copilot CLI を利用した週は +24.9% の上昇を示し、Claude Code の +11.4% の約 2.2 倍だった。著者らは、世間の評価が Claude Code を支持していることを踏まえるとこれは意外だとし、2 つの仮説を示している。タスクの構成の違いと、Microsoft が GitHub を所有していることで Copilot CLI のハーネスを自社エンジニアの働き方に合わせやすかったことである。
補足
著者らは次の点を述べている。マージされたプルリクエストは成果の不完全な代理指標であり、小さく頻繁な PR を有利に扱い、品質面のコストを見落とす可能性があること。導入研究では同僚の影響と同類性（ホモフィリー）を切り分けられないこと。知見は 1 社の 2026 年初頭という単一の期間に由来し、Azure DevOps のプルリクエストのみを数えていること。そして、Microsoft の従業員として、AI ツールを販売し GitHub を所有する企業に近い立場にあることが研究に影響した可能性があること。差し迫った未解決の問題として、品質 ── 増えたスループットがより良いソフトウェアにつながるか ── を挙げている。また、原稿の初期版の作成、分析コードと図の生成コードの実装、構成の見直しと校正の補助に、主に Anthropic の Claude Opus モデルとともに GitHub Copilot を使用したことを開示しつつ、研究課題、研究設計、解釈は自分たち自身のものであると述べている。