ロール混同とは、言語モデルが、あるテキストの一節がどのロールに属するのか――<system>、<think>、<assistant> といったタグで囲まれたモデル自身の特権的なコンテンツなのか、それとも <user> で囲まれた信頼できない入力なのか――を確実に知覚できないことに対して、研究者たちが与えた名称である。この用語の根拠となる知見は、単にモデルがこの区別を不完全にしか行えないということではない。モデルは、一節を実際に区切っているロールタグよりも、その一節の文体のほうを重く見ているらしく、そのためモデルの内部推論のように見えるよう書かれたテキストは、内部推論の権威に近いものをもって扱われる、というものである。
用法
この用語は、プロンプトインジェクション を構文解析の問題ではなく知覚の問題として捉え直すために使われる。ロールタグは区切りのための仕組みであり、この用語の出典となった研究は、その機能不全を、モデルが実際に手がかりにしているのは区切りではないことの証拠として扱っている。報告されている実践的な実証はジェイルブレイクである。モデルが通常なら拒否するリクエストの後に、思考ブロックの語調で、リクエストの何らかの付随的な細部を条件として許容的なポリシーを主張するテキストを続けると、モデルの当初の学習を上書きできる。これは gpt-oss-20b などのモデルに対して有効だったと報告されている。
対となる手法が 脱スタイル化 （destyling）である。これは、一節の意味はそのままに、そのロールタグの内側で想定される形式らしく読めなくなるよう書き直すことである。引用によれば、研究者たちは、脱スタイル化によってデータセット全体の平均攻撃成功率が 61% から 10% に低下したと測定し、その変化を、人間の読み手にはほとんど気づかれないがモデルのロール知覚にとっては決定的なものと特徴づけている。これらの数値は間接的にこの wiki に届いたものである。すなわち、ロール混同としてのプロンプトインジェクション が研究者たち自身によるブログ形式の研究解説から引用したものであり、その解説自体はここでは情報源として保持されていない。
引用によれば、研究者たちは 2 つの帰結を導いている。1 つ目は、モデルが真のロール知覚を獲得しない限り、インジェクションへの防御は終わりのないもぐら叩きであり続けるということである。研究者たちはロール混同を、今日のモデルにおいてプロンプトインジェクションに対処するうえでの重要な課題と表現している。2 つ目は、ロールの境界が連続的であることがさらなる脅威を開くということである。すなわち、無害に見えるテキストを通じてモデルの状態を微妙にずらすよう設計されたインジェクションであり、研究者たちはこれを合法的かつ大規模に展開可能なものと表現している。
関連用語
プロンプトインジェクション, ジェイルブレイク, 間接プロンプトインジェクション, 制御プレーンとデータプレーンの混同, 2 チャネル・プロンプトインジェクション, ロール混同としてのプロンプトインジェクション