デプロイメント・オーバーハングとは、AI エージェントの自律性を実際の利用で測定する が用いる意味では、AI モデルが 扱える自律性が、実際に発揮している自律性を上回っている状況である — 実際のデプロイメントでエージェントに与えられている 裁量が、エージェントが扱えるものに追いついていない。
用法
Anthropic の研究は、Claude Code に関する 2 つの測定からこの結論を導いている。 ターンの所要時間の 99.9 パーセンタイル値は 2025 年 10 月から 2026 年 1 月にかけてほぼ倍増し、しかもモデルのリリースの たびに跳ね上がるのではなく、リリースをまたいで滑らかに上昇した。著者らはこれを、既存のモデルが実際に発揮している以上の 自律性を扱えることの兆候と読んでいる。Anthropic の社内ユーザーの間では、最も難しいタスクでの成功率が 8 月から 12 月に かけて倍増し、その一方でセッションあたりの人間による介入の平均回数は 5.4 回から 3.3 回に減った。研究は自らの数値を、 METR のような外部の能力評価と対比している。そうした評価は人間とのやり取りのない理想化された環境でモデルが何をできるかを 測るのに対し、この研究の測定は、Claude が立ち止まって質問し、ユーザーが割り込む、実際の場で何が起きるかを捉えている。 研究は、この 2 種類の指標は直接比較できないと強調したうえで、両者を合わせると、実際の場での裁量が能力に追いついていない ことが示唆されるとしている。
この説明において、このずれはユーザーが何を許可するかだけの問題ではない。著者らは自律性の伸びを、パワーユーザーが時間を かけてツールへの信頼を築くこと、より野心的なタスクにツールを適用すること、そして製品自体の改善を含む、いくつかの考えうる 要因に帰している。