University of South Florida の著者らによるこのサーベイ（DOI 10.1109/ACCESS.2026.3675554）は、エージェント型 AI システムを有用にしている特性 ── 自律性と持続性、ツール統合、エージェント間の協調 ── こそが、従来の AI 安全性も従来のソフトウェアセキュリティも十分にはカバーしないセキュリティリスクを生み出していると論じる。自律性と持続性は攻撃対象領域を広げ、ツール統合は悪用の可能性を増幅し、エージェント間の協調は予測不可能性をもたらす。著者らはこの研究を、自律エージェントに関する既存のサーベイに対して位置づけている。それらは主に能力やベンチマークを詳述するか、信頼とリスク管理を扱うものであり、セキュリティにのみ焦点を当ててはいないと著者らは述べる。
論文は 4 つの部分から構成される。脅威の分類、防御アプローチのレビュー、ベンチマークと評価実践のレビュー、そして未解決の課題の一覧である。個々の防御システムをセキュア・バイ・デザインの構成要素（入力のガバナンス、ツール呼び出しのガード、ポリシーエンジン、サンドボックス化／分離、レート制限、監査証跡、ロールバック／復旧）に対応づけた表と、能力のベンチマークとセキュリティに特化したベンチマークを比較した表が含まれている。
主なポイント
- 脅威の分類は 5 つのカテゴリからなる。プロンプトインジェクションとジェイルブレイク、自律的なサイバー攻撃とツールの悪用、マルチエージェントおよびプロトコルレベルの脅威、インターフェースと環境のリスク、そしてガバナンスと自律性に関する懸念である。著者らは、これらのカテゴリは互いに排他的ではなく、攻撃をその主たる特徴によって整理したものだと述べている。
- プロンプトインジェクション を文献で最も広く論じられている攻撃と呼び、いくつかの軸で分類している。直接プロンプトインジェクション と 間接プロンプトインジェクション の区別、意図的か非意図的か（たとえば曖昧なユーザーのクエリや、長いチャットにおける文脈のずれ）、攻撃のモダリティ（テキスト、画像または動画、音声、およびそれらの混成）、伝播（伝播しない攻撃と、再帰的なインジェクションや、エージェント間に広がるワームのような自律的な伝播）、多言語および難読化されたインジェクション、そしてペイロード分割である。ペイロード分割とは、悪意ある指示を無害に見える複数の入力に断片化し、モデルがそれらを集約したときにはじめて効果を発揮させるものである。
- 自律的なサイバー攻撃は、コード実行やシステムレベルのツールを与えられたエージェント自身が攻撃を特定し、組み立て、実行するという点でプロンプトインジェクションと区別される。サーベイは先行研究をもとに、これをワンデイ脆弱性の悪用、自律的な Web サイトのハッキング、創発的なツールの悪用に分類している。
- マルチエージェントシステムについては、Model Context Protocol と Agent2Agent プロトコル（A2A） に対するプロトコルレベルの脅威を論じており、議論をこの 2 つに限定している。また、ドメインをまたぐマルチエージェントの脅威を脅威アクターの視点から 6 つのクラスに再編成している。なりすましと役割の悪用、協調の操作、知識と学習の操作、推論とポリシーの回避、説明責任の曖昧化、そして機密データの改ざんまたは持ち出しである。
- インターフェースと環境のリスクは、エージェントの内部推論からではなく、エージェントと動作環境との相互作用から生じるものとして位置づけられている。観測空間と行動空間の不整合、現実的な環境における知覚と行動の脆さ（以前の入力の誤解釈、早すぎる終了、テンプレートをまたいだ脆さ）、そして動的なコンテンツ、ローカライゼーション、ロボット検知である。
- プロンプトインジェクションへの防御は、エージェント中心（プロンプトエンジニアリングと実行時の振る舞い、教師ありファインチューニング）、ユーザー中心（機密性の高いアクションの前の確認など、人間による検証のシグナル）、システム中心（検知、分離、プロンプトの拡張、品質に基づく防御）に分類され、さらに訓練ベースの手法と訓練不要の手法に分けられている。著者らはそのトレードオフを、ユーザー中心の防御は自動化を犠牲にし、エージェント中心の防御は能力の低下や適応型攻撃に対する失敗のリスクを抱え、システム中心の防御は複雑さを増す、とまとめ、実際の導入ではますますハイブリッドな設計が好まれていると指摘している。
- システム中心の防御として、サーベイは LLM Map-Reduce パターン、Code-Then-Execute パターン、デュアル LLM パターン、Context-Minimization パターン といった設計パターンを挙げ、エージェント中心の防御として Action-Selector パターン と Plan-Then-Execute パターン を挙げている。
- ポリシーのフィルタリングと強制は、エージェントの行動と意思決定の連鎖を直接規制するガバナンス中心（実行時）の強制と、入力と出力を走査して違反を検出するシグナル中心（非実行時）の強制に分けられている。サーベイはまた、サンドボックス化 と能力の封じ込め、検知と監視、そして NIST AI RMF Generative AI Profile、OWASP Agentic AI Threats プロジェクト、CSA MAESTRO フレームワークといった組織的なフレームワークも扱っている。
- 評価について、著者らは能力のベンチマーク（たとえば τ-bench）と、セキュリティや安全性に特化したベンチマーク（たとえば AgentDojo や Agent Security Bench（ASB））を区別している。そのうえで、セキュリティ評価は、軌跡の区間ごとのプロセスを考慮した採点、単一の平均値ではなく分布として報告される反復試行の指標、人間との比較で検証された判定器、忠実度の前提を明示したサンドボックス化とエミュレーション、そして再現可能な構成へと向かうべきだと論じている。
- 挙げられている未解決の課題は、長期にわたるセキュリティ、マルチエージェントにおける新たなセキュリティ上の考慮事項、安全性とセキュリティのベンチマークの改善、エージェントの意思決定を効率的かつ安全に追跡すること、適応型攻撃に対する安全性、物理世界におけるエージェント型 AI のセキュリティ、そして人間とエージェントの間のセキュリティインターフェースである。
補足
このサーベイは新たな実証研究ではなく既存研究の統合的な整理であり、報告されている攻撃成功率やベンチマークの数値は引用元の研究から取られている。プロトコルレベルの脅威に関する議論では、Agent Network Protocol（ANP） と Agent Communication Protocol（ACP） の名前は挙げているものの扱ってはいない。適応型攻撃については、AI エージェントに対する防御のほとんどが静的な攻撃に対してのみ評価されていること、そしてより広く敵対的機械学習の分野では、当初は有効と報告された防御の多くが公開後まもなく破られていることを指摘している。人間とエージェントの境界の扱いでは、人間による監督そのものが敵対的に影響されうること、たとえばユーザーがソーシャルエンジニアリングによって安全でないアクションを承認させられうることに触れている。