コンテキストの混乱(context confusion)とは、過剰な情報、抽象的すぎる指示、あるいは互いに矛盾する指示によって、言語モデルがどの情報を優先すべきか判断できなくなる状態である。Spec駆動開発におけるコンテキストエンジニアリングとCustom Slash Commandsのベストプラクティス は、これを コンテキストエンジニアリング(コンテキストエンジニアリング)が対処すべき三つの問題の一つとして、コンテキストロット(コンテキストロット)および コンテキストポイズニング(コンテキストポイズニング)と並べて挙げている。同記事の説明によれば、その症状は、実行ごとに結果が大きくばらつくことと、ハルシネーションを起こしやすくなることである。

用法

同記事は、その原因をコンテキストの シグナル対ノイズ比(コードレビュー)(シグナル対ノイズ比)の観点から説明している。タスクが実際に必要とする情報(シグナル)が、無関係な情報や冗長なログ(ノイズ)に比べて占める割合が小さくなると、モデルのアテンションによる重み付けがうまく機能しなくなり、重要な情報が軽く、重要でない情報が重く扱われて、出力の品質が不安定になる。

同記事の具体例は、カスタムスラッシュコマンド(カスタムスラッシュコマンド)の設計から来ている。Web 調査、ドキュメント作成、ガイドラインチェック、修正を一続きに連結した単一のコマンドが、Web 検索に由来する大量のノイズによって本来の方向から逸らされ、著者はこれがコンテキストの混乱とコンテキストロットを引き起こしたと見ている。同記事が提案する対策は、こうした作業をそれぞれ単一の責務を持つコマンドに分割し、タスクに必要な最小限の情報だけを注入することである。

関連用語