2024 年 5 月 13 日に GitHub のブログで公開された調査報告で、大規模な実際のエンジニアリング組織に おける GitHub Copilot の効果を測定するために、GitHub が Accenture とともに 実施した研究を報告している。GitHub はこれを、Copilot に関する同社のこれまでのラボ実験から一歩 進んだものと位置づけており、その動機はビジネス向けおよびエンタープライズ向けの提供開始にあると している。研究は GitHub Customer Research が主導し、Accenture、Microsoft のチーフエコノミスト室、 GitHub Copilot Quality Measurement チームと連携して行われたと説明されている。
この研究は 3 種類のエビデンスを組み合わせている。中心となったのはランダム化比較試験で、エンジニア リング、デザイン、テストにわたり、エントリーレベルからチームマネジメントまでの職位にある開発者が、 Copilot を利用できるグループと利用できないグループに無作為に割り当てられ、アウトプットのパフォーマンス 指標に関する DevOps テレメトリーが収集された。全社的な導入状況の分析では、インストール率、提案の 受け入れ率、開発者が最初の提案を受け入れるまでにかかった時間を調べており、提案を受け入れたことを 成功と定義している。Accenture の Copilot ユーザーを対象としたアンケートでは、開発者が Copilot の 業務への影響をどう受け止めているかを把握している。データの一部は、GitHub Copilot Metrics API を 含む GitHub と Azure DevOps の公開 API を通じて収集された。
知見
- 導入：開発者の 81.4% がライセンスを受け取ったその日に Copilot の IDE 拡張機能をインストール し、インストールした人の 96% が同じ日に提案を受け取り、受け入れ始めた。開発者が最初の提案を目に してから提案を受け入れるまでにかかった時間は平均 1 分であった。参加者の 80% 超が Copilot の導入に 成功した。
- 利用状況：回答者の 67% が週 5 日以上 Copilot を使い、利用日数は平均で週 3.4 日であった。また 70% は、すでに習得しているプログラミング言語でのコーディングタスクに Copilot を活用していた。43% が 「非常に使いやすい」と感じ、51% が「非常に有用」と評価した。
- スループットと品質：研究に参加した開発者では、プルリクエスト数が 8.69%、プルリクエストの マージ率が 15%、成功したビルド数が 84% 増加した。GitHub は、マージ率をレビュアーの判断による品質の 尺度、成功したビルドをテスト自動化の判断による品質の尺度と解釈している。
- 提案の受け入れと保持：開発者は Copilot の提案の約 30% を受け入れ、Copilot が生成した文字の 88% をエディター内に残した。90% が Copilot の提案したコードをコミットしたと報告し、91% が自分の チームでそのようなコードを含むプルリクエストがマージされたと答えた。
- 開発者体験：開発者の 90% が仕事により充実感を覚えるようになったと報告し、95% が Copilot を 使うとコーディングがより楽しくなったと答えた。充実感は利用頻度とともに高まり、Copilot の利用が 週 2 日未満の人では「少し」にとどまったのに対し、週 2 日を超える人では「かなり」高まった。70% が 反復的なタスクにかかる精神的な労力がかなり減ったと報告し、54% が情報や例を探す時間が減ったと答え、 過半数が Copilot を使いながらフロー状態を維持できると答えた。
報告書は最後に、独自の調査を行う組織に向けた指針を示している。すなわち、定量的・定性的・運用上の データを収集すること、具体的な目標やワークフローに沿って DevOps テレメトリーを準備すること、そして 成功指標を組織自身のプロセスに合わせて調整することである。なお、この研究は、測定対象となった製品の ベンダー自身によって実施・公開されたものである。