インフラストラクチャノイズ（infrastructure noise）とは、エージェント型コーディング評価のスコアのばらつきのうち、テスト対象のモデルの能力ではなく、評価を実行するインフラストラクチャによって引き起こされるものである。Anthropic はこの考え方を エージェント型コーディング評価におけるインフラストラクチャノイズの定量化 で示している。エージェント型の評価ではモデルに完全な環境が与えられ、モデルはその中でプログラムを書き、テストを実行し、依存関係をインストールし、複数ターンにわたって反復する。そのためランタイムは受動的なコンテナではなく「問題解決プロセスの不可欠な構成要素」であり、リソース予算と制限時間が異なる 2 つのエージェントは「同じテストを受けているわけではない」とされる。モデルの出力を直接採点する静的ベンチマークには、この性質はない。
使われ方
Anthropic が測定したノイズの主な発生源は、リソース構成である。コンテナランタイムは、保証された割り当てと、それとは別の、到達するとコンテナが強制終了されるハードリミットとによってリソースを強制する。両者を同じ値に固定すると、瞬間的なメモリ使用量の急増によって、本来なら成功していたはずのコンテナが強制終了されうる。Anthropic の報告によれば、Terminal-Bench 2.0 では、タスクごとの仕様を厳格に強制する設定から上限のないリソースに移行すると、インフラエラー率が 5.8% から 0.5% に下がり、成功率が 6 パーセントポイント上昇した（p < 0.01）。Anthropic は 2 つの領域を区別している。タスクごとの仕様の約 3 倍までは、追加のリソースは主に見かけ上の失敗を取り除くだけで、スコアの変化はノイズの範囲内にとどまる。それを超えると、追加のリソースによってエージェントは本来使えないリソース集約的な戦略で成功できるようになるため、制限そのものが評価の測定対象を変えてしまう。同じ効果のより小さな現れ — RAM 1 倍と 5 倍の間で 1.54 パーセントポイント — が、タスクのリソース消費がより少ない SWE-Bench でも見られた。
Anthropic は、リソースは隠れた変数の 1 つにすぎないと述べている。制限時間、クラスタの健全性、ハードウェア仕様、並行実行数、外向き通信の帯域幅もすべてスコアに影響しうる。また、おそらく API レイテンシが変動するために、合格率が時間帯によって変動することを経験的に報告している。その結論は、エージェント型の評価は構造上エンドツーエンドのシステムテストであり、「モデルの能力」と「インフラストラクチャの挙動」の境界は、単一のベンチマークスコアが示唆するよりも曖昧だというものである。モデル提供者は専用のハードウェアを割り当てることで自社の評価インフラストラクチャをこの影響から守ることができるが、外部の評価者にはそれが容易ではないと Anthropic は指摘している。
そこから導かれる実践上の帰結は、リーダーボードの読み方に関するものである。リソースの方法論が標準化されるまでは、3 パーセントポイント未満の差は、評価構成が文書化され揃えられるまで懐疑的に見るべきだとされる。推奨される緩和策は、評価がタスクごとに保証された割り当てとハードリミットの両方を指定し、下限と上限でのスコアが互いにノイズの範囲内に収まるようにその幅を調整したうえで、使用した倍率を報告することである。公開されるコーディング評価については、ノイズを平均化するために複数の時間帯、複数の日に実行することも提案している。