この記事の主張は、そのリード文自体に要約されている。大規模言語モデルはエキサイティングな技術だが、私たちのその理解はまだ「ベータ版」である、と。あらゆる業種の組織が社内や顧客向けの LLM 統合を検討していると報告し始めた時期に書かれたこの記事は、市場に関するものと技術に関するものの 2 種類の注意点を示し、技術的な修正ではなくアーキテクチャ上の推奨に行き着く。
市場に関する注意点は、LLM への有償の商用アクセスでさえ急速に変化するということである。LLM の API 上にサービスを構築する組織は、利用している API の背後でモデルが変わり既存のプロンプトが機能しなくなる可能性や、統合の重要な部分を提供するスタートアップが存続できずにその部分が消滅する可能性を考慮しなければならない。
技術に関する注意点は、世界の技術コミュニティがまだ LLM の能力、弱点、そして決定的に重要なことに脆弱性を完全には理解していないということである。記事はこれを、この分野の考え方における盲点として捉える。機械学習は画像に猫が写っているかどうかを分類するようなことが得意なものとして理解され、汎用人工知能は見ればそれとわかるものとして理解されてきたが、LLM はそのどちらの像にも当てはまらない。著者は、LLM は作ったというより「育てた」と言うほうが正確だという見方に触れ、LLM を ML や AGI の枠組みに押し込むのではなく第三の種類の存在として扱うことを提案している。
要点
- 研究は、LLM が指示と、その指示の遂行を助けるために与えられたデータとを本質的に区別できないことを示唆している。記事はこれを確定した事実としてではなく、研究が示唆していることとして述べている。
- プロンプトインジェクション は単に LLM 技術に本質的な問題なのかもしれない。考えられる緩和策の研究は進行中であり、インジェクションをより困難にする戦略もあるが、記事は、確実な緩和策はまだ存在しないと述べている。
- このリスクの評判面の形はすでに観察されていた。ある組織の LLM を用いたチャットボットの背後にあるプロンプトが、敵対的なユーザーの巧みな誘導によって覆され、チャットボットが不快な発言や恥ずかしい発言をするようになり、それがソーシャルメディアに出回ったのである。
- 危険な形は、記事が検討する仮想の事例である。ある銀行が、口座保有者が自分の財務について質問したり指示したりできる LLM アシスタントを導入する。攻撃者は、参照欄にプロンプトインジェクションを隠した送金リクエストをユーザーに送る。ユーザーがアシスタントに今月は出費が多いかどうかを尋ねると、アシスタントは取引を分析する中で悪意のある取引に遭遇し、それによって再プログラムされ、ユーザーのお金を攻撃者の口座に送金してしまう。記事は、LLM を統合した製品の初期の開発者たちがすでにプロンプトインジェクション攻撃の試みを観察していると指摘している。
- LLM ベースのアプリケーションのテストには、古典的な攻撃に対してコミュニティがすでに持っている手法とは異なる手法が必要になるかもしれない。記事の例は、モデルに指示を無視するよう説得したり、指示の抜け穴を見つけたりする、ソーシャルエンジニアリングに似たアプローチである。記事はこれを SQL インジェクションと対比し、後者はよく知られており、今日でははるかに見かけなくなったと述べている。
- 中心的な推奨はアーキテクチャ上のものである。すなわち、LLM を用いたアプリケーションに許可された行為の最悪のシナリオを受け入れられるように、組織がシステムとデータフローを設計していることを確実にすることである。記事は、これらの技術にはまだ予見されていない脆弱性や弱点がさらに発見されるだろうと付け加えている。
背景
記事の締めくくりの比喩は、ベータ版の製品やコードライブラリである。組織はそのようなものを顧客に代わって取引を行うことに関与させることはなく、まだ完全に信頼することもないだろう。著者は、LLM にも同様の注意を適用すべきだと主張する。この注意は熱意と対立するものではなく両立するものとして示されている。記事は、LLM の登場がエキサイティングな時代であること、そして NCSC もそれを探求し恩恵を受けたいと考える組織の 1 つであることを明言している。