LangChain のブログに掲載された Vivek Trivedy によるこの記事は、LangChain 自身のコーディングエージェントである deepagents-cli にハーネスエンジニアリングを適用した報告であり、記事は同エージェントを Deep Agents リポジトリ内のものとしてリンクしている。その見出しとなる成果は、モデルである gpt-5.2-codex を固定してハーネスだけを変更したところ、エージェントが Terminal Bench 2.0（Terminal-Bench）でトップ 30 のわずかに圏外からトップ 5 にまで上がったこと、すなわち 52.8 から 66.5 へ 13.7 ポイント向上したことである。
記事はハーネスを、モデルの「本質的にとがった知能」を自分が関心を持つタスクに向けて形づくるためにモデルの周囲に構築されるシステムとして捉え、タスク性能、トークン効率、レイテンシといった目標に向けて最適化するものとしている。ハーネスが提供する多くの調整項目のうち、チームは意図的に 3 つ——システムプロンプト、ツール、そしてモデル呼び出しとツール呼び出しの周囲に置かれるフックを指す LangChain の用語であるミドルウェア——に絞り込み、エージェントの実行トレースを使って何を変更するかを決めた。
要点
- 実験は Terminal Bench 2.0 上で行われた。記事はこれを、機械学習、デバッグ、生物学などの領域にわたる 89 のタスクを持つ、エージェント型コーディングの今や標準的なベンチマークだと説明している。実行は Daytona のサンドボックス内で Harbor によってオーケストレーションされ、エージェントのすべてのアクションが LangSmith に保存された。
- トレース分析は Agent Skill としてパッケージ化することで再現可能にされた。実験のトレースを取得し、並列にエラー分析エージェントを起動してその発見をメインエージェントが統合し、そのうえで的を絞ったハーネスの変更を行う。記事はこれをブースティングになぞらえ、1 つのタスクに過剰適合した変更は他の箇所で退行を引き起こしうるため、提案された変更の確認には人間が役立ちうる——ただし必須ではない——と述べている。
- 記事が報告する最も多い失敗は、エージェントが解決策を書き、自分のコードを読み直し、問題ないと判断して、テストせずに終了してしまうというものだった。その対策は、計画・構築・検証・修正のサイクルを促すシステムプロンプトのガイダンス（検証ループを参照）と、エージェントが終了する前に割り込んでタスク仕様に照らして検証するよう促す
PreCompletionChecklistMiddlewareであり、記事はこれを Ralph Loop になぞらえている。 LocalContextMiddlewareは、エージェントの起動時に作業ディレクトリとその親・子ディレクトリをマッピングし、Python のインストールなどのツールを見つける。記事は、このコンテキストを注入することでコンテキストの発見と検索におけるエラーの余地が減ると論じ、これをエージェントを環境にオンボーディングすることだと呼んでいる。- チームはまた、プログラムによるテストで測定されるコードを書くようエージェントにプロンプトで指示し、エージェントは時間の見積もりが苦手だという理由から、終了と検証に向かうよう促す時間予算の警告を注入した。
LoopDetectionMiddlewareはファイルごとの編集回数を追跡し、同じファイルへの編集が一定回数に達すると、アプローチを見直すよう提案する。これはドゥームループへの対策である。記事はこれを、現在認識されているモデルの問題に合わせて設計されたヒューリスティックであり、モデルが改善するにつれて不要になる可能性が高いとしている。- 推論の計算量について、記事は、最高の推論設定（
xhigh）だけで実行するとエージェントのタイムアウトのために 53.9% にとどまり、highでは 63.6% だったと報告しており、計画にはxhigh、実装にはhigh、検証にはxhighを使う推論サンドイッチ（Reasoning Sandwich）をベースラインとして採用した。 - 実践的な教訓として挙げられているのは、エージェントに代わってコンテキストエンジニアリングを行うこと、エージェントに自己検証を促すこと、トレースをフィードバックシグナルとして使うこと、短期的には悪いパターンを検出して修正すること、そしてハーネスをモデルに合わせて調整することである。最後の点について記事は、以前のバージョンのハーネスを Claude Opus 4.6 で実行したところ 59.6% だったと報告しており、それを Claude で同じ改善ループを回さなかったためだとしている。
背景
この記事は、LangChain が自社のオープンソースのエージェントについて公開ベンチマークでの結果を報告したものである。数値はチーム自身の測定であり、ハーネスのヒューリスティックは一般的なルールとしてではなく、チームの実験から得られた知見として提示されている。記事は、今後の研究の方向性——マルチモデルシステム、継続学習のためのメモリプリミティブ、モデルをまたいだハーネス変更の測定——を挙げて締めくくられており、チームがトレースのデータセットを公開したことも述べている。