アテンション予算とは、言語モデルがコンテキストに注意を向ける能力を、トークンが 1 つ加わるごとに目減りしていく有限の蓄えとして捉える Anthropic の枠組みである。人間のワーキングメモリの容量が限られていることになぞらえて、Anthropic は LLM が大量のコンテキストを解析する際にこうした予算を消費していると論じる。そのため、新しいトークンを 1 つ持ち込むたびに、モデルに与えるものを慎重に取捨選択する必要が高まる。
用法
Anthropic は、このアテンションの希少性をアーキテクチャ上の制約に求めている。Transformer ベースのモデルでは、コンテキスト全体にわたってあらゆるトークンが他のすべてのトークンに注意を向けるため、n 個のトークンに対して n² 個のペアワイズな関係が生じる。コンテキスト長が増えるにつれて、モデルがそれらの関係を捉える能力は薄く引き伸ばされ、コンテキストのサイズとアテンションの集中とのあいだに自然な緊張関係が生まれる。これをさらに悪化させる要因が 2 つある。モデルは訓練データの分布からアテンションのパターンを身につけるが、そこでは一般に短い系列のほうが長い系列よりも多い。そのため、コンテキスト全体にわたる依存関係については経験が少なく、それに特化したパラメータも少ない。また、位置エンコーディングの補間のように、元々訓練されたより小さなコンテキストに適合させることで長い系列を扱えるようにする手法は、トークンの位置の理解においていくらかの精度を犠牲にする。
Anthropic はこれらの要因を合わせて、急な崖ではなく性能の勾配を生み出すものとして提示している。そしてこの予算を、優れた コンテキストエンジニアリング とは望ましい結果が得られる可能性を最大化する、シグナルの強いトークンの最小の集合を見つけることだ、とする理由として扱っている。