この記事は、ポリシーとしてではなく製品上の判断として表現されたガバナンスについてのものである。Anthropic が以前に示した信頼できるエージェントのフレームワークにある 5 つの原則――人間による制御、人間の価値観との整合、インタラクションの保護、透明性、プライバシー――を取り上げ、そのうち 3 つがリリース済みの機能にどう現れているかを検討し、残りの 2 つはそれぞれを貫いているものとして説明している。
最も他に応用しやすい貢献は構造面にある。エージェントは 4 つの構成要素――モデル、指示とガードレールからなるハーネス、エージェントが呼び出せるツール、そしてエージェントが動作する環境――に分解され、それぞれが能力の源泉であると同時に潜在的な監督のポイントとして提示される。この分解に付随する議論は、一種の是正である。AI ポリシーに関する議論の大半は無理もないことながらモデルを中心にしているが、よく訓練されたモデルであっても、設定の不十分なハーネス、権限の緩すぎるツール、あるいは露出した環境を通じて悪用されうる。
記事は最後に、単一の企業では提供できないと考える 3 つのもの――共有ベンチマーク、エージェントが実際にどう使われているかについての共有されたエビデンス、そしてオープンなプロトコル――を挙げ、それらは善意ではなくインフラであると論じている。
要点
- エージェントの作業上の定義は、固定されたスクリプトに従うのではなく、自らのプロセスとツール利用を方向づけるモデルであり、自己主導のループ――計画し、行動し、結果を観察し、調整し、タスクが完了するか人間の入力が必要になるまで繰り返す――の中で動作するものである。
- 4 つの構成要素には具体的な内容が与えられている。ハーネスは、たとえば一定額を超えるものはすべてフラグを立てるよう、あるいはユーザーの確認なしに経費を申請しないようエージェントに指示するかもしれない。ツールはエージェントが利用できるサービスである。そして環境は、どのファイル、ウェブサイト、システムに到達できるかを決める――同じエージェントでも、社内ネットワーク内の会社のノート PC 上にある場合と個人のスマートフォン上にある場合とでは、アクセスできるデータもリスクの大きさも異なる。
- 説明されている最も直接的な人間による制御の形は、アクションごとの権限である。Claude.ai と Claude Desktop では、ユーザーはどのツールを有効にするかを選び、各アクションを常に許可、承認が必要、ブロックのいずれかに設定する。これにより、カレンダーの読み取りは常に安全としつつ、招待の送信には引き続き承認を求める、といったことができる。
- 記事はこのアプローチの失敗モードを率直に挙げている。タスクに数十のアクションが必要になると、繰り返される確認がフリクションとなり、ユーザーはときにそれを聞き流すようになる。
- Claude Code のプランモードがその対応として示されている。エージェントは意図する計画を事前に示し、ユーザーは何かが実行される前にその全体をレビュー、編集、承認し、実行中にも介入できる。記事が述べる効果は、監督の対象を個々のステップから全体的な戦略へと移すことであり、記事によればそこがユーザーが最も判断を下したいところである。
- サブエージェントは、監督にとって解決済みの問題ではなく未解決の問題として挙げられている。並列に動作する他のエージェントに引き渡された作業は、もはや単一のアクションの流れとしては見えない。記事は、Anthropic が協調のパターンを探っており、そこで得た知見を監督の設計に反映していくと述べている。
- 目標の理解について、記事はその難しさをキャリブレーションの問題として捉えている。考えうるあらゆる疑問のたびに止まるエージェントは、自らを有用にしている自律性を手放すことになり、常に押し進めるエージェントは意図を読み違えるリスクを負う。難しいのは、どのギャップを自分で解決でき、どれがユーザーにしか決められない好みの問題なのかを見分けることである。
- そのための 2 つの訓練上の手段が挙げられている。モデルを曖昧な状況に置くシナリオを構築し、推測せずに立ち止まるという選択を強化すること、そして Claude の Constitution である。記事によれば、Constitution は推測に基づいて行動するよりも「懸念を提起すること、確認を求めること、あるいは進めることを断ること」を優先している。
- その効果の根拠として示されているのは、複雑なタスクではユーザーがエージェントを中断する頻度は単純なタスクよりわずかに多いだけだが、エージェント自身が確認を求める頻度はおよそ 2 倍になる、というものである。
- プロンプトインジェクション について、記事はリスクの 2 つのスケーリング特性を述べている――環境が開かれているほど侵入口は増え、利用可能なツールが多いほど、攻撃者が侵入後にできることも増える――そしてこれを、防御を 1 層ではなく複数の層で構築する理由としている。すなわち、インジェクションのパターンを認識するようモデルを訓練すること、実際の攻撃をブロックするために本番トラフィックを監視すること、そして外部のレッドチーミングである。
- これらの安全策は保証ではないと明言されており、記事はそれを、顧客がエージェントにどのツールとデータを与え、どの権限を付与し、どの環境で動作させるかを慎重に考えるべき理由としている。記事が述べる一般的な真理は、エージェントのセキュリティには、あらゆるレベルでの防御と、関与するすべての当事者による選択が必要だということである。
- エコシステムについて、記事は 3 つのギャップを挙げる。プロンプトインジェクションへの耐性や、エージェントがどれだけ確実に不確実性を表明するかについて、エージェントシステムを比較する厳密で標準化された方法は存在しない――各社は自社の方法で自社のシステムをテストしており、いずれも独立に検証されていない。記事は、NIST のような標準化団体が共有ベンチマークを維持し、第三者による評価を促すのに適した立場にあると示唆している。
- 2 つ目のギャップはエビデンスの共有である。Anthropic は、Claude がエージェントとしてどう使われ、どこで苦戦しているかについて広範に公表してきたと述べ、政策立案者がより全体的な像を得られるよう、これが一般的な慣行になることを望んでいる。
- 3 つ目はオープンな標準である。記事は、Anthropic がモデルと外部のデータやツールとの通信方法のオープンな標準として Model Context Protocol を作成し、その後 Linux Foundation の Agentic AI Foundation に寄贈したと述べている。その理由として、オープンなプロトコルがあれば、セキュリティ特性をデプロイごとにつぎはぎで対処するのではなくインフラに一度で設計として組み込めること、そして競争を誰が統合を支配するかではなくエージェントの品質と安全性に集中させられることを挙げている。
背景
これはベンダーが自社の製品上の判断を説明し、自らが利害を持つインフラを提唱しているものであり、そのように読むべきである。機能は評価済みの介入としてではなく原則の例示として示されており、権限モデル、プランモード、多層的なインジェクション防御のいずれにも有効性を示す数値は添えられていない。唯一の定量的な主張――複雑なタスクではエージェントの確認頻度がおよそ 2 倍になる一方、ユーザーによる中断はわずかにしか増えない――は、エージェントの自律性に関する Anthropic 自身の以前の研究を出典としている。
この記事は、製品についての発信としては珍しいほど未解決の問題について率直である。目標の理解をエージェント開発におけるより難しい未解決問題の 1 つと呼び、サブエージェントのワークフローが答えの出ていない監督上の問題を提起していると述べ、自社の安全策は保証ではないとはっきり言っている。繰り返し見られるのは、責任の一部を外側へ押し出す動きである――ツール、権限、環境を選ぶ顧客へ、そして現在誰も持っていないベンチマークを提供する標準化団体へと。