「AI は人間がレビューできるより速く書く」は、カーネギーメロン大学とスタンフォード大学の研究者らによる、文書化された企業の「2 倍」AI マンデート についての定量的な事例研究である。対象は中規模の B2B ソフトウェア企業で、その CTO は後に公開された 2025 年 6 月のメモで、12 か月かけて AI の導入によりエンジニアリングの生産性を 2 倍にするという目標を発表し、エンジニア 1 人あたりの月間マージ済みプルリクエスト数を進捗の指標とした。同社は社内の AI ツールのテレメトリとプルリクエストの履歴への研究アクセスを認め、著者らはそれをマイニングして、2024 年 1 月から 2026 年 4 月にわたり、364 のアクティブなリポジトリにおける 802 人の開発者と、ボット以外によるプルリクエスト 196,212 件からなる開発者×月のパネルデータを構築した。著者らはこの調査対象を、代表的というよりむしろ意図的に理想に近いものとして描いている。若く、AI に積極的で、寛容な企業であり、商用の AI コーディングツールを席数の上限やトークン予算なしに提供していた。そのため、効果は業界平均というよりは上限の包絡線として読むのが適切である。
この研究の手法は、各開発者を自分自身の対照とするスタッガード差分の差分法のデザインであり、開発者をマンデートの日付ではなく各自の導入月にそろえている。著者らの主張によれば、マンデートは全員に共通する単一の日付であり、その直接的な効果を組織全体の他のトレンドから切り離すことはできない。一方、導入は時期がずれており、開発者内部に痕跡を残す。3 つの知見は次のとおりである。ほぼ 2 倍は達成可能だが、それは発表と同時に訪れるのではなく利用の蓄積とともに徐々に積み上がること。向上は職位を問わず広く共有されているが、新しいコードに集中しており、モデルの世代ごとには切り分けられないこと。そして組織は、コードレビューを自動化へ移すことで増えた量を吸収したことである。著者らは、向上は作業を取り除くのではなく下流へ移すものであるため、企業の AI マンデートを「ツールの導入ではなく、プロセスの再設計の問題」と特徴づけている。
主なポイント
- アクティブな開発者 1 人あたりのプルリクエスト数の平均は、マンデート前のベースライン（2025 年 1〜4 月）の 21.2 件から 2026 年 4 月には 44.3 件へと 2.09 倍に増加したと報告しており、著者らはこれを AI コーディングツールの現場導入から報告された向上のうちで最大級のものだと述べている。同じ期間に全社のプルリクエスト量は 3.1 倍に増加した。
- 開発者内部の向上を、一度きりの導入による跳ね上がりと、累積の利用とともに大きくなる向上とに分解し、両者を合わせてベースラインの仕様では +0.54 対数ポイント（1.72 倍）、組織全体の月次のショックをすべて吸収する暦月の完全な固定効果を入れた場合は +0.38（1.46 倍）と報告している ── より保守的な後者の数値が主要な結果として採用されている。月ごとにたどると、導入効果は 3 か月時点の 1.51 倍から、6 か月時点で 1.55 倍、9 か月時点で 1.99 倍へと上昇する。
- 向上のより大きな部分を担っているのは一度きりの導入による跳ね上がりではなく利用の蓄積の経路であり、マンデートはわずかな残差しか残さないことを見出している ── これは、マンデートを直接的に生産的なものではなく触媒的なものとみなす本論文の解釈を裏づけている。
- 導入効果は、個人貢献者からプリンシパルまでの職位の階段全体で統計的に区別できない（+27%〜+42%）と報告しており、例外は経営・管理職でおよそ +86% である。著者らはこれを低い基準値によって増幅された再参入効果と読み、コードを生み出すコストが下がるにつれて、エンジニアリング作業を指揮することと実行することの境界が狭まると論じている。
- 向上は新しいコードに集中していることを見出している。2022 年以降のリポジトリでは +44% であるのに対し、2022 年より前のレガシーなリポジトリでは有意でない +12% にとどまり、この差自体も統計的に有意である。
- 生産性の向上を特定のフロンティアモデルのリリースに帰属させることはできないと論じている。リリースの段階ごとの増分係数は符号が反転し、モデルのローンチがなかった 2025 年 8 月に挿入したプラセボ指標も本物のリリース日と同じくらい動く。著者らはこれを、デザインが能力ではなく暦の上のドリフトを捉えていることを示すものと読んでいる。
- レビューの供給が追いつかなかったことを報告している。プルリクエストの量は 3.1 倍に増えたのに対し、レビュアーとして活動する開発者の数は 1.5 倍にしか増えず、レビュアー 1 人あたりの負荷はおよそ 2 倍になった。
- この差は、より速くレビューすることではなく主に自動化によって吸収されたことを見出している ── 少なくとも 1 件の人間のレビューを受けたプルリクエストの割合は 89% から 68% に低下した一方、自動化された AI レビューを受けた割合は約 19% から約 84% に上昇し、マンデートの直後に人間のレビューを追い越した。
- 残った人間のレビューは単なる承認へと薄まったと報告している。実質的なレビュー（人間が書いたコメントを伴うレビュー）はプルリクエストの約 39% から約 21% に低下した一方、無言の承認は約 50% でほぼ横ばいだった。また中央値で見ると、レビュアーのコメント付きレビューは横ばい（月約 3 件）だったのに対し、無言の承認はおよそ 2 倍になった。
- マージ率は実質的に横ばいで、リバート率はむしろ低下しており、AI のラベルが付いたプルリクエストは同等の人間のものよりわずかにリバートが少なかったことを見出している ── ただし、これらは欠陥、インシデント、保守性を捉えられない粗く短期的な代理指標であると明示し、健全性のお墨付きではなく、品質の急激な崩壊に反する証拠として読んでいる。
- AI による作成のプルリクエスト 1 件あたりのコストは、手戻りではなくレイテンシにあると位置づけている。AI のラベルが付いたプルリクエストは、最初の人間のレビューからマージまでに約 20%、サイクルタイム全体で 22% 長くかかる一方、レビューのラウンド数と人間のレビューのカバー率は横ばいである ── 著者らはこれを、修正が増えたのではなく、レビュアーの関与が増えたことと解釈している。
- マージ済みプルリクエストの件数だけで管理することに反対しており、作成の高速化はボトルネックを人間の判断がペースを決める段階へと移すものであり、DORA や SPACE のような速度中心のフレームワークは高速化を捉えるものの、押し出された作業がどこへ行ったかを見逃すと論じている。
注記
著者らは、因果的な解釈の限界について明確に述べている。展開は無作為化されておらず ── 開発者はいつ導入し、どの程度 AI を使うかを自ら選んだ ── そのため導入による跳ね上がりは、導入前のトレンドが平坦であることに支えられた平行トレンドの仮定に依拠している。また、累積の AI 利用は作業量、モチベーション、タスクの構成と連動し、部分的にはより多くのコードを出荷したことの機械的な副産物でもあるため、利用の蓄積の傾きはきれいな因果推定ではなく関連として扱われている。ヘビー／平均／ライトの用量反応の勾配は、導入後に実現した利用量という処置後の変数を条件としているため、記述的なものとして示されている。著者らは主要な結果を、開発者内部の証拠と用量反応の証拠が導入と利用の蓄積の関与を強く示すスループットの倍増として位置づけ、正確な因果の大きさは点推定ではなく範囲として扱っている。
スループットの推定値が推定量の選択に敏感であることは、それ自体が情報を持つものとして報告されている。導入の係数は、ベースラインの二元固定効果デザインでは +0.354、暦月の完全な固定効果を入れると +0.201、一度も処置を受けない開発者を除くと +0.369、Borusyak の補完推定量では +0.132 となり、Callaway–Sant’Anna では有意でない +0.162 に縮小する。著者らは、この減衰は結果の破綻ではなく局所的なものだと論じている。すでに導入した開発者を対照として使うことを禁じる推定量だけがゼロに向かって引き下げるのであり、その制約は利用とともに大きくなる効果を過小に評価するからである。
外的妥当性は、著者ら自身の説明によれば二重に限定されている。推定値は若く AI に積極的な 1 社から得られたものであり、しかもその企業はマージ済みプルリクエストの件数を公式の進捗指標にしていたため、公表された目標が水増しを招き、デザインではそれを本物の加速から完全には切り分けられない。AI が作成したプルリクエストの識別は、研究者の管理外の仕組みで付与される同社独自の created-by-ai ラベルに依拠しているため、プルリクエスト単位での AI と人間の比較は相関的なものとして扱われ、因果的な主張は開発者パネルのデザインに限定されている。期間の終盤に特有の注意点として、同社は期間の後半にプルリクエストを AI 駆動のレビューと自動承認に回し始めており、増えつつあるその割合について人間のレビューのレイテンシが潰れたため、測定されたレイテンシの上乗せはゼロの方向に偏っている。