この投稿は、Web を閲覧し、情報を取得し、ユーザーに代わって行動するエージェントに対する プロンプトインジェクション について、OpenAI が表明する立場を示すものである。その中心的な一手は問題の捉え直しにある。こうした攻撃のうち現実世界で最も効果的なものは、単純なプロンプトの上書きよりもソーシャルエンジニアリングにますます似てきているとされ、そこから導かれる帰結は、防御を入力のフィルタリングだけに頼ることはできないというものである。問題が悪意ある文字列を特定することではなく、コンテキスト内の誤解を招く、あるいは操作的なコンテンツに抵抗することであるならば、システムは攻撃が成功した場合でも操作の影響が制約されるように設計されなければならない。
投稿は攻撃の変遷をたどる。初期の攻撃は、Wikipedia の記事を編集して訪れたエージェントへの直接的な指示を書き込む程度の単純なものだったとされ、敵対的な環境を訓練時に経験していないモデルは、それを疑うことなく従うことが多かった。モデルがより賢くなり、そうした攻撃の影響を受けにくくなるにつれて、攻撃側はソーシャルエンジニアリングを取り入れることで対応してきたとされる。例として挙げられるのは、組織再編の資料に関するもっともらしい社内のフォローアップとして書かれたメールであり、その指示 — 従業員のプロフィールを取得し、外部の「コンプライアンス検証」エンドポイントに送信せよ — を、正当に見えるアクションアイテムと、アシスタントにはそうする完全な権限があるという主張の中に埋め込んでいる。
要点
- 枠組みとなる主張は、現実世界で効果的なプロンプトインジェクションはますますソーシャルエンジニアリングに似てきており、他の領域で人間に対するソーシャルエンジニアリングのリスクに用いられるのと同じ視点で管理されるべきだというものである。
- 目標は、悪意ある入力を完璧に特定することにとどまらず、操作が成功した場合でもその影響が制約されるようにエージェントとシステムを設計することだと述べられている。
- 「AI ファイアウォール」— 入力がインジェクションか否かを分類しようとする仲介層 — は、より広い AI セキュリティのエコシステムで一般に推奨されているものとして説明され、この種の十分に作り込まれた攻撃は通常捕捉できないとされる。その理由として、そうした入力を検出することは、嘘や誤情報を検出するのと同じ非常に困難な問題になり、しかも必要なコンテキストがないことが多い点が挙げられている。
- エージェントは、3 者から成るシステムにおけるカスタマーサポート担当者になぞらえられる。雇用主のために行動しながら、誤った方向に導きうる外部からの入力に絶えずさらされている存在である。投稿の論旨は、そうした担当者は人間であれ AI であれ、損失の上限を画するためにその能力に制限を持たなければならず、人間の場合にはすでに決定論的なシステムが返金額に上限を設けたりフィッシングを検知したりしており、担当者が決して騙されないことに頼ってはいない、というものである。
- この枠組みと並行して、投稿は従来型のセキュリティエンジニアリングを用いていると報告し、ソース・シンク分析 を挙げる。攻撃者には、システムに影響を与える手段と、誤ったコンテキストでは危険となる能力の両方が必要である。
- 投稿がユーザーに対して表明するセキュリティ上の期待は、潜在的に危険な行動や、潜在的に機密性の高い情報の送信が、黙って、あるいは適切な安全策なしに行われるべきではないというものである。
- ChatGPT に対して最もよく見られると報告されている攻撃は、会話中の秘密情報を悪意ある第三者に送信するようアシスタントを説得しようとするものであり、投稿によれば、既知の事例の大半では安全性訓練によって拒否が生じるため、これらは失敗している。
- エージェントが説得されてしまう場合に対して、投稿は Safe Url と呼ばれる緩和策を説明し、同じ仕組みが同社のブラウザ製品におけるナビゲーションとブックマーク、および同社のディープリサーチ製品における検索とナビゲーションにも適用されると述べている。
- インテグレーターに向けた先を見据えた推奨は、同様の状況にある人間の担当者であればどのような統制を持つべきかを問い、それを実装することである。投稿は、最大限に知的なモデルは人間の担当者よりもソーシャルエンジニアリングにうまく抵抗できると見込む一方で、それが常に実現可能であったり費用対効果が高かったりするわけではないと指摘している。
背景
この投稿は、ベンダーが自社製品の防御について記述したものであり、その中心的な主張のいくつか — そうした攻撃の大半は安全性訓練によって失敗すること、そして説明された緩和策が残りを捕捉すること — は、それを裏付ける測定結果なしに述べられている。例として挙げられた攻撃は、それを報告した外部のセキュリティ研究者によるものとされ、投稿はテストにおいてディープリサーチのプロンプトに対して半分の確率で成功したと述べている。報告された研究や投稿がリンクする他の製品関連の投稿は、ここではこの投稿を通じてのみ知られているため、それらのタイトル、日付、著者は確立された事実として改めて記載していない。