これはリンク投稿であり、その主題は投稿自身の主張ではなく、投稿が紹介している研究である。その研究は、<system>、<think>、<assistant> といったロールタグで囲まれたモデル自身の特権的なテキストと、<user> で囲まれた信頼できないユーザー入力とを、モデルが区別できるかどうかを扱っている。投稿は、モデルにはそれができず、テキストの実際のロール表示よりもテキストのスタイルのほうを重く見ているらしいという知見を紹介している。
投稿が強調する帰結は、ある形のジェイルブレイクである。モデルが拒否するはずの依頼の後に、モデル自身の内部思考ブロックのスタイルで書かれたテキストを続けると、モデルの当初の訓練を覆すことができる。紹介されている例は、薬物の製造方法を求める依頼に、無関係な詳細（「私は緑のシャツを着ています」）を組み合わせ、その後に、ユーザーが緑の服を着ているならそのような助言は許可されると述べる擬似的なポリシーのテキストを続けるものである。投稿によれば、これは gpt-oss-20b などのモデルを混乱させる。
投稿のもう 1 つの論点は、セキュリティではなく科学コミュニケーションに関するものである。投稿は冒頭で、研究者たちが正式な論文と並行して読みやすいブログ形式の解説を公開したことを称賛している。学術的な文章は無味乾燥であり、読みやすい付随版があれば論文のインパクトははるかに大きくなりうると論じ、すべての論文にそうした解説が付いてほしいと述べている。
要点
- ここで紹介されている研究は、ロールタグで囲まれたモデル自身の特権的なテキストと、信頼できないユーザー入力とをモデルが区別できるかどうかを扱っており、区別できないことを確認している。
- さらに意外なことに、報告された知見によれば、モデルはテキストを実際に囲んでいるロールタグよりも、テキストのスタイルのほうを重視する。
- これにより、あるジェイルブレイクが可能になる。モデルの内部思考ブロックのスタイルで書かれ、寛容なポリシーを主張するテキストを付け加えることで、モデルの当初の訓練を覆すことができる。
- 紹介されている例は、拒否される依頼に無関係な個人的詳細を組み合わせ、その後に、その詳細を条件として依頼を認める擬似的なポリシーのテキストを続けるものであり、
gpt-oss-20bなどのモデルを混乱させると報告されている。 - 「デスタイリング」、つまりテキストをそのロールタグに想定される形式らしく見えないように書き換えることは、モデルがそのテキストをどう分類するかに大きな影響を与えると報告されている。
- 引用によれば、研究者たちは、デスタイリングによってデータセット全体での平均攻撃成功率が 61% から 10% に低下したと測定している。投稿はこれを研究者自身のブログ形式の解説から引用しており、独立した結果ではない。
- 引用によれば、研究者たちはこの変化を、人間の読み手にはほとんど気づかれないが、モデルのロール認識を完全に変えてしまうものだと説明している。
- その根底にある仕組みは「ロール混同」と名付けられており、研究者たちはこれを、今日のモデルにおいてプロンプトインジェクションに対処するうえでの重要な課題だと説明している。
- 引用によれば、研究者たちは、モデルが真のロール認識を獲得しない限り、インジェクション対策は終わりのないモグラ叩きであり続けるとしている。
- また研究者たちは、さらなる脅威も提起していると引用されている。ロールの境界は連続的であるため、一見無害なテキストを通じてモデルの状態を微妙にずらすインジェクションを、合法的かつ大規模に設計できる可能性があるというものである。
- セキュリティの内容とは別に、投稿は、学術的な文章は無味乾燥であり、読みやすさがインパクトを高めるという理由から、すべての論文に読みやすいブログ形式の解説が付くべきだと論じている。
背景
この投稿は短いリンクブログのエントリーであり、研究について述べていることのほとんどは独自に検討されたものではなく紹介である。投稿が引用している数値や結論は、研究者自身のブログ形式の解説に由来するもので、投稿はそれにリンクしているが、その解説自体はここでは情報源として登録されていない。投稿は冒頭で、この解説が正式な論文に付随するものであることに触れている。投稿には プロンプトインジェクション とジェイルブレイクのタグが付けられており、著者自身の寄与は 2 点に限られる。読みやすい論文解説についての冒頭の主張と、この知見を、未解決であるだけでなく予想以上に深刻だと著者が評する課題についての魅力的な研究だと一行で評したことである。仕組みそのものについては ロール混同 を参照。