本論文は、LLM ベースのエージェントに対する攻撃と防御を形式化し、ベンチマークし、評価するためのフレームワークである Agent Security Bench（ASB）（ASB）を提案する。エージェントの動作パイプラインに対する 4 つの攻撃ファミリーを形式的に定義している。直接プロンプトインジェクション（DPI：ユーザープロンプトの段階を直接操作する）、間接プロンプトインジェクション（IPI：ツールの応答に悪意ある指示を埋め込む）、メモリポイズニング（検索拡張型のメモリデータベースを敵対的なキーと値のペアで汚染する）、そしてエージェントの隠されたシステムプロンプトを標的とする新たな Plan-of-Thought（PoT）バックドア攻撃である。これらに加えて、複数を組み合わせた混合攻撃も定義している。
本論文は、10 のプロンプトインジェクション攻撃、1 つのメモリポイズニング攻撃、PoT バックドア攻撃、4 つの混合攻撃、およびそれらに対応する 11 の防御を、13 の LLM バックボーンでベンチマークしている。バックボーンにはクローズドなモデル（例：Claude 3.5 Sonnet、GPT-3.5 Turbo、GPT-4o、GPT-4o-mini）とオープンなモデル（例：LLaMA 3/3.1、Gemma2、Mixtral、Qwen2）の両方が含まれる。
主なポイント
- テストしたすべての LLM バックボーンを通じて、本論文は混合攻撃（DPI、IPI、メモリポイズニングの組み合わせ）が最も影響の大きい攻撃であり、平均攻撃成功率（ASR）が最も高く（84.30%）、平均拒否率が最も低い（3.22%）と報告している。メモリポイズニング単体は最も効果が低く、平均 ASR は 7.92% だった。DPI の平均 ASR は 72.68%、IPI は 27.55%、PoT バックドア攻撃は 42.12% だった。
- 本論文は、攻撃成功率とエージェントの能力が上昇してから下降する関係を示すと報告している。能力の高いバックボーンモデルは、注入された指示に従いやすいため当初はより脆弱になる（例：GPT-4o は高い ASR を示す）が、最も高い能力水準では、より強い拒否の振る舞いがこれを打ち消す。本論文は GPT-4o（DPI 下での拒否率 20.05%、ASR 60.35%）と GPT-3.5 Turbo（拒否率 3.00%、ASR 98.40%）を対比している。
- バックボーンのタスク上の有用性と敵対的な攻撃への耐性を合わせて評価する指標として Net Resilient Performance（NRP）を導入し、テストしたバックボーンの中では Claude 3.5 Sonnet、LLaMA3-70B、GPT-4o が比較的高い NRP スコアを達成したと報告している。
- 攻撃のない状態でのエージェントの性能（PNA）は、同じバックボーン LLM の単体でのリーダーボード上の品質よりも一般に低いと報告している。例外は Claude 3.5 Sonnet、LLaMA3-70B、GPT-4o で、これらは単体でのリーダーボード性能に匹敵するか、それに近い性能を示した。
- 本論文の防御評価（DPI と IPI に対するもの）は、現在の予防ベースの防御がおおむね不十分であると結論づけている。DPI に対してテストした中で最も成績の良かった防御（平均 ASR を 44.45% まで下げた Dynamic Prompt Rewriting と、56.87% まで下げた指示ベースの防御）でさえ、攻撃の過半数が成功したままであり、さらにこれらの防御は攻撃がない場合でも主タスクの有用性を損なうことが多いと報告している。
- 本論文の結論は、ASB によって LLM ベースのエージェントの動作のあらゆる段階（システムプロンプト、ユーザープロンプト、ツール利用、メモリ検索）に主要な脆弱性があることが明らかになり、現在の防御はベンチマークした攻撃に対して限られた効果しか示さないと述べている。
補足
いくつかの表と数式による形式化（4.1〜4.4 節の攻撃・防御の定義）は、抽出されたテキストでは OCR の文字化けを含んだ形で表示されている。上記の数値と知見は、文字化けした数式や表のレイアウトそのものではなく、論文の読み取り可能な本文（5.3 節、5.4 節、6 節）から取ったものである。