イリノイ大学アーバナ・シャンペーン校、Meta、スタンフォード大学にまたがる 40 人以上の研究者グループによる大規模なサーベイであり、エージェント型システムにおけるコードは、もはや単なる目標出力ではなく、推論、行動、環境モデリング、実行に基づく検証のための運用基盤になっていると論じる。上に記録した 6 人の名前は、論文が中核的な貢献者として示している人々である。著者らはこの転換をエージェントハーネスという観点から捉え、統一的な見方として「エージェントハーネスとしてのコード（code as agent harness）」を提示する。
なぜ特にコードなのかについての著者らの論拠は、コードには単なる記法ではなくハーネスインターフェースとして機能させる 3 つの性質があるというものである。実行可能であるため、モデルの出力は形式的に検証可能な結果を持つ操作になる。検査可能であるため、中間的な計算が、ハーネスが読み取り、保存し、それに基づいて行動できる構造化されたトレースとして露わになる。ステートフルであるため、変化していくプログラムがタスクの進捗を、ステップをまたいで永続的かつ変更可能な形で表現する。論文は、コードが何を意味するかを慎重に限定している。すなわち、プログラム、スクリプト、形式仕様、証明スクリプト、API スキーマ、ツール定義、テスト、リポジトリ、シミュレーター、設定ファイルを含む、実行可能または機械で検査可能な成果物である。そして、生の知覚、物理的な状態、人間の意図、モデル内部の推論は、たとえコードを通じて感知、シリアライズ、あるいは操作できる場合であっても、それ自体はコードではないと述べている。
このサーベイは、相互に結びついた 3 つの層で構成されている。コードがエージェントを推論、行動、環境モデリングに接続するハーネスインターフェース、計画、メモリ、ツール利用、フィードバック駆動の制御、最適化を扱うハーネスの仕組み、そして共有されたコード成果物が協調、レビュー、検証を支える、単一エージェントからマルチエージェントの設定へのハーネスのスケーリングである。
要点
- 著者らは、ハーネスインターフェースを、コードが果たす 3 つの役割に整理している。内部の論理を検証可能な計算へと外在化する推論のためのコード、高レベルの意図を、身体性を持つ環境、GUI、ソフトウェア、ツール利用の環境に根ざした実行可能な操作へと変換する行動のためのコード、そしてプログラムの状態、リポジトリ、シミュレーター、テスト、ログを通じて世界の状態と遷移のダイナミクスを表現する環境モデリングのためのコードである。
- ハーネスの制御を Plan–Execute–Verify ループ として捉えている。そこでは、計画が意図した変更についての契約を形成し、実行がサンドボックス化され権限を付与された環境の中でそれを適用し、検証が決定論的なセンサーと人間によるレビューのゲートを用いて、状態を受け入れるか、修正するか、エスカレーションするか、ロールバックするかを判断する。
- メモリは、より大きなコンテキストウィンドウやベクトルデータベースではなく、状態管理の層として特徴づけられ、ワーキングメモリ、意味記憶、経験記憶、長期記憶、マルチエージェントメモリに分解される。コンパクションと状態のオフロードは、アクティブなコンテキストと永続的なタスク状態との境界を制御する横断的な仕組みとして位置づけられている。
- 低リスクの観察と高リスクの行動とを分離する多層のパーミッションモデルを提案している。読み取り専用の層、サンドボックス内での編集の層、そしてネットワークアクセス、認証情報、デプロイ、破壊的な操作を含むフルアクセスの層であり、最後の層の行動は必須のヒューマン・イン・ザ・ループのゲートで守られるべきだと論じる。
- エージェント型ハーネスエンジニアリング（Agentic Harness Engineering） が独立した分野として名付けられている。これは運用環境そのものを分析対象として扱うもので、詳細なテレメトリによって駆動され、統制されたミューテーションのもとでハーネスの構成要素を修正する Evolution Agent によって実行される。
- マルチエージェントに関する文献においてこのサーベイが述べる中心的な欠落は、調査対象のシステムの大半が、共有状態を現在のコードファイルと会話履歴として暗黙的に表現するにとどまり、永続的で問い合わせ可能な表現を持たないことである。そのため、コードの状態についてのエージェントの認識が、気づかれないまま実際の状態から乖離しうる。
- 著者らは、この欠落の帰結として関連する 2 つのパターンを挙げている。1 つは、トポロジーの複雑さがハーネス状態の形式性と逆相関することで、暗黙的な状態を持つシステムは構造的な回避策として精巧な適応型トポロジーを発達させる。もう 1 つは、高度なコンテキスト管理の仕組みが「暗黙の共有状態の税」と表現されていることである。
- 著者らは、実行によるグラウンディングの論拠を複雑にする知見を報告している。調査対象のシステムは、LLM がシミュレートした実行が、コードを実行せずに実際の結果を予測する際に 98% を超える適合率と再現率を達成しうることを示しており、実行フィードバックの価値が失敗モードによって一様ではないことを示唆している。そのうえで、成熟したハーネスは言語的な推論を高速パスとして用い、それを必要とする失敗モードに限って実行に委ねるだろうと提案している。
- 7 つの未解決問題が示されている。ハーネスレベルの評価とオラクルの妥当性、実行可能なフィードバックを超えた意味的な検証、退行を伴わない自己進化型ハーネス、トランザクショナルな共有プログラム状態と意味的な競合の解決、ハーネス状態としてのヒューマン・イン・ザ・ループの安全性と説明責任、マルチモーダルなコードハーネスシステム、そしてハーネスエンジニアリングの科学である。
- このサーベイの結論としての立場は、将来の最も重要なシステムは、実行可能、検査可能、ステートフル、統制されているという 4 つの性質を兼ね備えるだろうというものである。
補足
評価について著者らは、LLM がハーネスに組み込まれると、最終タスクの成功指標はベースモデルの能力、ハーネスの品質、ツールの信頼性、フィードバックの情報量、環境の難しさを混同してしまうと論じる。彼らは最終タスクの正解率を、軌跡の効率、検証の強さ、回復能力、状態の一貫性、安全性の遵守、再現可能性を扱うハーネスレベルの指標で補うことを提案し、オラクルの妥当性（評価器が、狭い実行可能な代理指標ではなく意図されたタスクを捉えているかどうか）を中心的なボトルネックとして挙げている。
関連する注意が検証の議論全体を通じて示されている。実行フィードバックが利用できるがゆえに、まさにそれを持っていることによってハーネスが過信に陥りうるというものである。著者らが提案する対応は、明示的なスコープを持つ検証スタックである。これは単体テスト、プロパティベーステスト、ファザー、静的解析ツール、型チェッカー、セキュリティスキャナー、ランタイムモニター、形式仕様、人間によるレビューといった複数の成果物を組み合わせるもので、それぞれが何を検証するか、何を検証できないか、どの程度の確信度を提供するかを宣言し、受け入れられるすべての行動が証拠のバンドルを伴う。
このサーベイはまた、本番環境のハーネスが次世代のコードアシスタントモデルの学習データの供給源になりつつあることを指摘し、それによって「エージェント」と「エージェントを取り巻くハーネス」との境界が、それ自体として学習可能な面になっていると述べている。
関連する論文リストが https://github.com/YennNing/Awesome-Code-as-Agent-Harness-Papers で公開されている。