Microsoft、南京大学、ユニバーシティ・カレッジ・ロンドン、上海交通大学の著者らによるこのプレプリントは、コーディングエージェントシステムが持続的なソフトウェア作業のためのループ機構 ── Codex の goal モード、Claude Code の goal モード、Claude Code の動的ワークフローが挙げられている ── をますます提供するようになっており、それらはハーネスを置き換えるのではなく、その上により高いレベルの制御面を加えるものだと論じている。したがって著者らの枠組みでは、中心的な課題は ハーネスエンジニアリング だけから、ハーネスの上での ループエンジニアリング へと移る。そこではループが、依存する作業が積み重なるなかで、タスク構造、状態の連続性、回帰の圧力をまたいで実行を統御しなければならない。
著者らによれば、SWE-Bench とその派生のような既存のベンチマークは、依然として大部分が終端的である。エージェントは自己完結したイシューやフラットな仕様を受け取り、最終的なタスクの成否で判定されるため、エージェントが途中の義務を保っているか、回帰を避けているか、依存し合う部分問題を実行可能な順序でたどっているかは明らかにならない。著者らの答えが LoopsBench である。各タスクはソースに根拠を持つ開発単位の依存 DAG であり、評価ランタイムは各単位のテストをその前提条件が通過して初めて公開し、完了した単位のテストを回帰義務として有効なまま保ち、実行順序は評価対象のループに委ねつつループトレースを記録する。著者らは、これが自分たちの知る限りループエンジニアリング評価のための最初のベンチマークだと述べている。
実験は 3 つの問い ── 現在のループはどこまで進捗を維持できるか、計画・コード・テストの状態をどのように保つか、長期の実行を左右するループエンジニアリングの要因は何か ── を軸に構成されており、フロンティアモデルと、Claude Code、OpenAI Codex、GitHub Copilot、OpenHands、SWE-Agent を含む広く使われているループ実装との組み合わせを評価している。
主なポイント
- 最も強い構成である、外側の継続ループを伴う Claude Code 上の Opus-4.7 は 112 タスクのうち 25.00% を解決し、評価したどのモデルとループの構成も完全な解決には遠く及ばない。
- ベンダー自身のループのもとでのファミリー内のモデルスケーリング、固定したループのもとでのモデルの比較、固定したモデルのもとでのループの比較のいずれも十分な結果に届かず、著者らはこれを、長期タスクにおける限界はモデルの選択やループ実装を単独で見ても説明できないことを意味すると解釈している。
- ベンチマークの外側の継続ループがなければ、1 回の実行セグメントは通常、依存構造の浅い前半部分にしか到達しない。外部からの継続は早い段階での停滞を減らし、部分的な進捗を増やす。
- 記録された計画は、ソースから復元された前提条件 DAG の一部しか再現しない。クローズドソースのループ実装は、参照 DAG の並行性に近い木構造の並行的な形で実行を組織するのに対し、線形の制御フローで駆動されるオープンソースの実装はほぼ一本の鎖を形成する。
- 評価したループが解決した単位では、そのパッチは正解の参照よりも一貫して長く、またループが作成するテストはネイティブのテストスイートよりはるかに少ないため、以前の義務は回帰に対して限られた保護しか受けない。実運用されているループ実装は、以前に満たされていた義務の数パーセントで回帰を起こす。
- コンテキストの刷新について比較した 4 つのループ実行のうち、Claude の動的ワークフロー（より狭いコンテキストを持つタスク固有のワーカー）が 24.11% で最も高い解決率に達し、Ralph Loop が 7.84% で最も低かった。しかし 4 つのプロファイルすべてで回帰イベントが現れたため、コンテキストを刷新しても回帰の圧力はなくならない。
- 著者らは、長期タスクに取り組むコーディングエージェントは、モデルの選択とループの構成 ── とりわけ残作業の扱い、構造化された状態、回帰義務の保持 ── の両方に帰属させて評価すべきだと結論づけている。
補足
著者らは、復元された DAG は完全な因果グラフではなく前提条件構造の下限であること、固定された DAG は評価上の取り決めであって、そのもとでは単位の境界や参照パッチは一意ではないこと、そしてタスクプールがモバイル、フロントエンド中心、ハードウェアに近いプロジェクトを除外していることを述べている。また、正しさの指標は完全な意味的等価性ではなく実行可能な義務を測るものであること、モデルの支援による具体化が文言やテストに偏りをもたらしうること、公開ソースを用いるためコンタミネーションのリスクが残ることにも注意を促している。コンテキスト刷新を比較した 4 つの実行はそれぞれ本来のモデルとループの構成を用いたものであり、したがって統制された因果的比較ではなく、観察されたループのプロファイルを特徴づけるものだと著者らは付記している。比較対象の実行には Ralph Loop が含まれる。