AI マンデートとは、AI による生産性向上に向けた組織のトップダウンのコミットメントである。AI は人間がレビューできるより速く書く: ある企業の「2 倍」マンデートに関する縦断研究 はこの用語を、単一の方針ではなく一定の幅を指す意図的な略称として用いている。すなわち、従業員が AI を効果的に使うことへの期待を表明するものから、全社的な導入を強制するものまでのすべてを含み、著者らはこの一語を使うことで、個々のケースに最も厳格な形態が当てはまると示唆しているわけではない。同論文が研究対象としたマンデートは、数値目標と名指しされた進捗指標を伴っていた。CTO のメモが、12 か月にわたる AI 導入を通じてエンジニアリングの生産性を倍増させるという目標を定め、エンジニア 1 人あたり月間のマージ済みプルリクエスト数をその尺度に指定したのである。著者らは、これほど正確に文書化されたマンデートが、特定可能な企業の複数年にわたるテレメトリとあわせて得られることは稀であり、それがこの事例を研究可能にしたと述べている。
用法
同論文は、この幅の両端を公表された 2 つの事例で押さえている。期待表明の側では、Shopify が AI を効果的に使うことを全従業員にとっての「基本的な期待」とした例、強制導入の側では、Coinbase が全社的な導入に応じなかったエンジニアを解雇した例である。これらに対して論文は証拠の現状を示す。統制された実験ではタスク単位で 21〜56% の速度向上が報告されている一方、経験豊富なオープンソース開発者を対象とした最大規模のフィールド研究では 19% の速度低下が報告され、公共部門の研究では有意な変化が見られず、同論文自身の設計に最も近い開発者内比較の研究では、利用が最も多い週に開発者のプルリクエストがおよそ 40% 増えていた。著者らは、最も信頼できるフィールドでの推定値を、わずかな速度低下から最大でもおよそ 40% の向上までの範囲にあると特徴づけている。これは、マンデートの動機となっている業界メディアが主張する数値の、ごく一部にすぎない。
著者ら自身の事例は、大きな成果が達成可能であることの証拠として提示されているが、業界メディアや企業内の推進者の主張が示唆するような即座の段階的な変化としてではない。開発者内でのスループット向上を分解すると、マンデートそのものはわずかな残差しか残さず、大部分は導入と、利用の蓄積とともに大きくなるリターンに帰せられることがわかった。そのため著者らはマンデートを、直接生産的なものではなく触媒的なものと表現している。マンデートは導入を引き起こし、その導入が複利的に効果を積み上げていったのである。
適用される場面
同論文が結果を観測した条件は異例なほど好都合なものであり、論文もそのことを明言している。若く、AI に前向きな中規模企業で、商用の AI コーディングツールを席数の上限やトークン予算なしに提供し、試行を奨励し、AI への習熟を優先事項として扱っていた。著者らはこれをほぼ最良のケースにあたる現場として提示しており、したがって成果は業界平均ではなく上限として読むべきものとされる。その現場においてさえ、成果は新しいリポジトリに集中し、レガシーのコードベースでは有意ではなかった。そのため著者らは、より大規模な、あるいはより古いコードベースでは、得られる成果はより小さく、より不均一になるかもしれないと注意を促している。
同論文の実践的な指針は、マンデートはツール展開の問題ではなくプロセス再設計の問題だというものである。導入そのものだけでなく利用の強度 — 能力開発の支援、摩擦の除去、ツールに向き合う時間の確保 — を目標にすること、そして成果が蓄積するのに十分な長さの期間でマンデートを評価することを推奨している。同論文が月ごとに追跡した開発者内での導入効果は、ツール利用開始から 3 か月と 6 か月の時点でのおよそ 1.5 倍から、9 か月までには約 2 倍へと上昇したからである（これは、同論文が別途報告している全社的な 1 人あたり 2.09 倍という数値とは異なる量である）。また、マージされた変更の数だけで統治することにも警告を発している。コードを書く作業が速くなると、制約となる箇所は人間の判断によって進み具合が決まる段階 — レビュー、インシデント対応、設計、セキュリティレビュー — へと移るため、この指標は速度を記録する一方で、作業がどこへ移ったかを覆い隠してしまうからである。
2 つの失敗モードが名指しされている。1 つは生産性プレッシャーのパラドックスで、同論文はこの用語を Miller らによるものとしている。著者らによれば、スキルが蓄積する前に目標を要求することがこれを生む。もう 1 つは測定のゲーミングである。著者らは、広く周知された目標は数値の水増しを招くこと、そして自らの研究設計では真の加速をそれと完全には切り分けられないことを指摘しており、これは同研究の外的妥当性に限界を設ける理由として著者らが挙げる 2 つのうちの 1 つである。
この概念は規範的なものではなく記述的なものであり、ここでの特徴づけの背後にある証拠は 1 社のものにすぎない。著者らは、自らの研究が 1 つの事例研究であること、展開が無作為化されていなかったこと、そして成果のうちどれだけが実際のものかを見極めるには、組織を横断した再現 — スループットを公式の目標にすることなく AI を導入した企業との比較を含む — が必要であることを明言している。