AGrail：効果的かつ適応的な安全性検出を備えた生涯型エージェントガードレール

この論文は、エージェントの行動を承認またはブロックするために使われる安全チェックを生成し、反復的に洗練していく、LLM エージェントのための生涯型ガードレールフレームワークである AGrail を提案する。著者らが先行のガードレール研究に見出した 2 つのギャップ、すなわち、タスクをまたいで汎化しない、手作業で指定された信頼済みコンテキストへの依存と、ある特定のリスクに対してどの安全ポリシーが実際に有効なのかを特定する体系的な方法の欠如に対処するものである。AGrail はエージェントのリスクを 2 つのカテゴリに区別する。あるタスクについてエージェント管理者が特定するタスク固有のリスクと、タスクに関係なくエージェントと環境とのインタラクションから生じる体系的リスク（プロンプトインジェクション攻撃や意図しないファイルの上書きなど）であり、その両方を対象とする。

論文はまた、オンライン OS エージェントに対するプロンプトインジェクション、システム妨害、環境攻撃からなる 100 例のベンチマーク Safe-OS も提案している。これは、既存の安全性ベンチマークが現実の攻撃を反映しない LLM 生成の合成ケースに依存しすぎていると著者らが判断したために構築されたものである。Claude-3.5-Sonnet 上に構築された AGrail は、Mind2Web-SC と EICU-AC のベンチマークにわたってタスク固有のリスクの検出で平均 96.3% の精度に達し、攻撃成功率を Safe-OS のシステム妨害攻撃では 3.8%、Safe-OS と AdvWeb のプロンプトインジェクション攻撃では 0%、EIA 攻撃では平均 17% にまで下げつつ、Safe-OS では正常な行動の 96% を維持したと報告されている。リスク検出と正常な行動の維持の組み合わせにおいて、ベースラインのモデルベースの防御（Claude-3.5-Sonnet／GPT-4o 上でカスタマイズした Chain-of-Thought プロンプティング）やガードレールベースの防御（LLaMA-Guard3、GuardAgent、AgentMonitor、ToolEmu）を上回っている。

要点

• AGrail の Analyzer と Executor は同じ LLM の 2 つのインスタンスである。Analyzer は現在のエージェントの行動と安全基準に基づいて共有メモリから安全チェックを取得して修正し、Executor は各チェックを（外部ツールを呼び出すか推論に頼って）検証し、いずれかのチェックが安全でなければその行動をブロックする。
• 論文は 2 つのリスクカテゴリを定義している。タスク固有のリスクは、あるタスクの目的と制約についてエージェント管理者が明示的に特定するものであり、体系的リスクは、エージェントと環境とのインタラクションから生じ、文脈によっては本来なら正常な行動を有害なものにしうるものである（たとえば、既存のファイルを上書きしてしまうファイル名の変更）。
• AGrail は、エージェントの種類を問わず適用できる普遍的な安全基準のデフォルトセット（情報の機密性、完全性、可用性）と、より狭いドメイン向けに手作業で作成されたタスク固有の安全基準の両方をサポートする。
• Safe-OS は、アクセス制御違反を現実的に表現するために、OS エージェントに 2 つの異なるユーザー ID（sudo 権限を持つ root ユーザーと持たない一般ユーザー）を割り当て、ガードレールの過剰防御を測定するために有害なシナリオと正常なシナリオの両方を含んでいる。
• Mind2Web-SC と EICU-AC において、Claude-3.5-Sonnet 上に構築された AGrail はそれぞれ 94.0% と 98.4% のラベル予測精度を達成している。Safe-OS では、システム妨害攻撃とプロンプトインジェクション攻撃の攻撃成功率を 3.8% と 0% に抑えつつ、正常なシナリオで 95.6% の精度を達成している。
• アブレーション研究では、Claude-3.5-Sonnet 上に構築した場合、メモリ学習データの順序が異なっても AGrail の性能は安定しているが、GPT-4o-mini では大きなばらつきが見られることがわかった。これは、より強力な基盤モデルほど、入力順序の影響に対してフレームワークを頑健にすることを示している。
• ドメイン転移性のテスト（AGrail のメモリを Mind2Web-SC で学習し、EICU-AC に転移させる）では、Claude-3.5-Sonnet では性能の低下が見られず、GPT-4o でも 5.6% の低下にとどまった。著者らはこれを、普遍的な安全基準のもとで AGrail が下流タスクをまたいで転移可能であることの証拠として提示している。
• 著者らは 2 つの制限を挙げている。AGrail は推論コンポーネントとして、ガードレール用途に特化して学習されたモデルではなく既製の LLM に依存していること、そして補助的な検出ツールが、LLM エージェントのセキュリティに特化して作られたツールが現時点で乏しいことによって制約されていることである。

補足

論文は AGrail を、手作業で指定された信頼済みコンテキストによって制約されていると論じる 2 つの先行システムと対比して位置づけている。動的な下流タスクへの対応に苦労する GuardAgent と、LLM が生成する適応的な安全ポリシーがタスクの要件を誤解し、制限が厳しすぎるか緩すぎるかのどちらかになりうる Conseca である。論文の主な実験では、OS エージェントの基盤モデルとして GPT-4-Turbo（プロンプトインジェクション攻撃の場合）と GPT-4o（その他の攻撃の場合）を用い、LLaMA-Guard3、GuardAgent、AgentMonitor、ToolEmu を含む防御手法をベースラインとして評価している。