この論文は、大規模言語モデルは自然言語のプロンプトによって柔軟に調整できるため、LLM 統合アプリケーションではデータと命令の境界があいまいになり、ユーザーこそがモデルに直接プロンプトを与える存在だという前提を超えた、新たな攻撃対象領域が生まれると論じる。論文は 間接プロンプトインジェクション を導入する。これは、LLM 統合アプリケーションが取得する可能性の高いデータに敵対的なプロンプトを戦略的に仕込むことで、攻撃者がアプリケーションへの直接のインターフェースを一切持たずに、遠隔からそれを悪用できるようにするものである。
論文は、その結果として生じる影響と脆弱性を体系的に調べるために、コンピュータセキュリティの観点から分類体系を導き出し、実世界のシステムに対する攻撃の実用的な実現可能性を実証している。
要点
- 間接プロンプトインジェクションによる影響と脆弱性に関する論文の分類体系には、データ窃取、ワーム化、情報エコシステムの汚染などの新たなセキュリティリスクが含まれる。
- 攻撃は、Bing の GPT-4 を搭載した Chat やコード補完エンジンを含む実世界のシステム、および GPT-4 上に構築した合成アプリケーションに対して、実用的に実行可能であることが示された。
- 論文は、取得された注入済みプロンプトを処理することが、アプリケーションの観点からは任意コード実行として作用しうること、つまりアプリケーションの機能を操作し、他の API を呼び出すかどうか、またどのように呼び出すかを制御しうることを示している。
- 論文は、LLM の統合と LLM への依存が進んでいるにもかかわらず、執筆時点ではこれらの脅威に対する有効な緩和策が欠けていたと述べている。
補足
この項目は論文の全文ではなく arXiv のアブストラクトページに基づいている。上記の要約はアブストラクト自体が述べている内容のみを反映しており、論文の方法論全体や事例研究の詳細な結果は反映していない。