Anthropic は 2026 年 2 月 18 日、人々が実際に AI エージェントをどのように デプロイし使っているかを初めて実証的に調べたものとして、この研究を公開した。研究では、同社の プライバシーを保護する分析ツールを用いて数百万件の人間とエージェントのやり取りを分析し、人々が エージェントにどれだけの自律性を与えているか、それが経験を積むにつれてどう変わるか、エージェントが どの領域で動作しているか、そしてエージェントの取る行動がリスクを伴うものかどうかを問うている。
この研究では、エージェントを、コードの実行、外部 API の呼び出し、他のエージェントへのメッセージ 送信といった行動を取れるようにするツールを備えた AI システムと定義している。研究は、トレードオフが 正反対の 2 つのデータソースに基づいている。公開 API については、数千の顧客にわたる個々のツール 呼び出しを分析しており、幅広さは得られるものの、行動がどのように組み合わさって長いセッションを 構成するかは再構成できない。Anthropic 自身のコーディングエージェントである Claude Code では、リクエストをセッション全体として結び付けられるため、 自律性を測定するための主要なデータソースとなっているが、対象は 1 つの製品に限られる。リスク、 自律性、タスクの複雑さ、人間の関与、停止の理由といった分類の多くは、それ自体が Claude によって 行われ、可能な場合には社内データと照らして検証された。
知見
- Claude Code はより長く自律的に作業するようになっている。 ほとんどのターンは短く、中央値は 約 45 秒で、40 秒から 55 秒の間で推移してきた。一方、裾野の側では、99.9 パーセンタイルのターン 所要時間が 2025 年 10 月から 2026 年 1 月の間にほぼ 2 倍になり、25 分未満から 45 分超へと伸びた。 この増加はモデルのリリースをまたいで滑らかに進んでおり、著者らはこれを、単に能力の向上だけに よるものではない兆候と解釈している。Anthropic の社内ユーザーでは、最も難しいタスクの成功率が 8 月から 12 月にかけて 2 倍になり、その一方でセッションあたりの人間による介入の平均回数は 5.4 回から 3.3 回に減った。著者らは、この両方の測定結果が デプロイメント・オーバーハング、すなわちモデルが扱える自律性が、実際に行使されている 自律性を上回っている状態を示していると見ている。
- 経験豊富なユーザーほど自動承認を多用するが、中断も多い。 新しいユーザー（セッション数 50 未満）は セッションの約 20% で完全な自動承認を使っており、この割合はセッション数 750 までに 40% 超に上昇する。 中断率も上昇し、セッション数が 10 前後のユーザーではターンの約 5% だったものが、より経験豊富な ユーザーでは約 9% になる。研究はこれを、各行動を承認するやり方から、エージェントを走らせておき 何か問題が起きたときに介入するやり方への、監督戦略の移行と解釈している。公開 API では、複雑さが 最小のタスクにおけるツール呼び出しの 87% に何らかの形で人間が関与しているのに対し、複雑さの高い タスクでは 67% である。
- Claude Code は、人間が中断するよりも頻繁に、確認のために自ら一時停止する。 最も複雑なタスクでは、 複雑さが最小のタスクに比べて 2 倍以上の頻度で確認を求めており、その頻度は人間が中断する頻度よりも 高い。Claude Code が自ら停止する最も一般的な理由は、複数のアプローチの中から選択肢を提示するため （35%）と、診断情報やテスト結果を集めるため（21%）である。人間が中断する最も一般的な理由は、 不足している技術的なコンテキストや修正を提供するため（32%）である。著者らは、Claude が適切な タイミングで停止しているとは限らないこと、また plan モードのような製品機能がこの振る舞いに影響 している可能性があることに注意を促している。
- エージェントはリスクの高い領域でも使われているが、まだ大規模ではない。 公開 API のツール呼び出し 998,481 件のサンプルでは、80% が少なくとも 1 つのセーフガードを備えているとみられるエージェントに よるもので、73% には何らかの形で人間が関与しているとみられ、不可逆とみられる行動はわずか 0.8% で あった。ソフトウェアエンジニアリングがツール呼び出しの 50% 近くを占め、ビジネスインテリジェンス、 カスタマーサービス、営業、金融、e コマースといった領域での利用はより少ない。最もリスクの高い クラスターには、セキュリティ関連の行動、金融取引、医療情報が関わっており、著者らはその多くが 本番利用ではなく評価であると見込んでいる。
研究は自らの限界として、単一のモデルプロバイダーのみを対象としていること、API のトラフィックは 孤立したツール呼び出しとして分析されていること、分類が Claude によって生成されていること、2025 年 後半から 2026 年初頭のみを反映していること、そしてツール呼び出しのサンプリングでは多数の逐次的な 呼び出しを行うデプロイメントが過大に代表されることを挙げている。
研究の提言は、モデルと製品の開発者がデプロイ後のモニタリングに投資すること、モデルの開発者が モデル自身の不確実性を認識できるようにモデルを訓練すること、そして製品の開発者がユーザーによる 監督を前提に設計することである。研究は、あらゆる行動に人間の承認を必須とするといった特定の インタラクションパターンを義務付けるには時期尚早だと論じ、エージェントが実際に行使する自律性は、 モデル、ユーザー、製品によって共同で構築されるものだと結論づけている。 ヒューマン・イン・ザ・ループ も参照。