ワシントン大学の研究者が、武漢理工大学と上海交通大学の共同研究者とともに執筆したこの論文は、コーディングエージェントを効率的にサービングするために利用できるデータの空白を埋めることを目指している。論文によれば、既存の公開 LLM サービングトレースはチャット、シングルターンの補完、短いマルチターンのやり取りを捉えたものであり、SWE-Bench や Terminal-Bench のような能力ベンチマークに含まれるのは比較的少数の範囲の狭いタスクである。そのため、どちらも、コーディングエージェントのサービングコストを左右する長いセッション、繰り返されるツール呼び出し、蓄積されるコンテキスト、人間のペースで生じる空白期間を捉えていない。
この空白を埋めるため、著者らは Claude Code と OpenAI Codex がセッションごとにデフォルトで保存するログから構築した TraceLab を公開している。約 8 か月間にわたり 20 以上のモデルバージョンを通じて 43 名の開発者から集めた約 4,300 セッション、約 35 万の LLM ステップ、約 43 万のツール呼び出しからなり、著者らは知る限りこれが実際のコーディングエージェント利用を捉えた、プロバイダーをまたぐ初の大規模トレースだとしている。両エージェントのログは、1 回の LLM 呼び出しとそれが生成するツール呼び出しを 1 単位とするステップレベルのスキーマに正規化され、各ステップの入力はプレフィックスキャッシュから読み出されるプレフィックストークンと新たに追記されるトークンに分けられる。データは匿名化されたうえで、セッション、リクエスト、ステップの各レベルで分析されている。
要点
- ループの大部分は自律的である。1 セッションあたりのリクエスト数は平均 9 超（p99 は 137）で、1 リクエストあたり平均約 8 ステップ、11 回のツール呼び出しを含み、ほとんどのステップはユーザーではなくツールの結果によって起動される。1 リクエストのエンドツーエンドの所要時間は平均 4.3 分（中央値 38 秒、p90 は 6.4 分）である。
- コンテキストはおおむね増大し続ける。大きく縮小することはまれで、たいていはコンテキスト上限付近で行われる本来の コンパクション である。少なくとも 1 回のコンパクションを経るセッションは 9.7% で、Codex（セッションの 18.4%）では Claude（4.5%）よりはるかに多く、著者らはこれを Codex のコンテキスト長が短いことと関連づけている。Codex ではさらに、ユーザーが起動したステップで小さなコンテキストの縮小が頻繁に見られる。
- ステップはコンテキストが長い一方で出力は短い。ステップの中央値はプレフィックストークン約 119K、追記トークン 875、出力トークン 214 で、これは頻繁なツール呼び出しによって生成が多数の短いステップに分断されるためである。
- コストの大半はプレフィックストークンの再読み込みが占める。公表価格で換算すると、プレフィックストークンが総コストの 59.5% を占めるのに対し、出力トークンは 11.2% にとどまる。著者らは、これは生成が高コストな部分だという通常の直感を覆すものだとしている。1 セッションのコストは平均 9.70 ドルだが、中央値では 0.61 ドルである。
- セッションの実時間の 92.3% は人間の思考時間が占める。リクエスト内では、ツールの実行（59.8%）と LLM の生成（41.0%）がほぼ同程度の割合を占める。
- ツール呼び出しは大きく偏っている。上位 3 つのツール（Claude では Bash、Read、Edit、Codex では exec_command、write_stdin、apply_patch）が呼び出しの 80% 超を占め、1 分を超える呼び出しは件数では約 4% だが、ツール呼び出しの総時間の 85% を占める。また、同じ種類のツールの中でもレイテンシは大きくばらつく。
- 全体のプレフィックスキャッシュヒット率は 95.7% だが、ミスは長い空白期間後のユーザー起動ステップに集中しており、約 1 時間が経過するとほぼすべてのステップがヒットしなくなる。追記トークンのうち本当に新しいものは 19% にすぎず、実際に運用されているキャッシュは、退避の起こらないキャッシュと比べて約 5.3 倍のトークンをプリフィルしている。上限の見積もりでは、人間の思考時間中もキャッシュを保持すれば、追記分のプリフィルを 45.9%、価格換算のコストを 12.8% 削減できる。
- これらの観察から、著者らはサービングシステムの方向性を導いている。より密な、あるいは融合されたツール呼び出しとオーバーヘッドの小さいツール呼び出し承認経路、追記長を考慮したプリフィルのルーティング、ツール名だけでなく要求された操作の意味を用いるツールレイテンシ予測、長いプレフィックスに対するスパースアテンション、そして空白期間を見据えた、より安価な KV キャッシュのストレージ、より優れた圧縮、より賢い退避やプリフェッチである。後者には、長い中断の間にエージェントハーネスが定期的にキャッシュを更新する方法も含まれる。
補足
この論文は、SWE-chat: 実環境における実ユーザーとコーディングエージェントのインタラクション をはじめとする、コーディングエージェントの行動やコード変更の結果を分析するデータセットと自らを対比している。それらはやり取りのタイムラインやその背後にあるサービングシステムを分析するものではないという位置づけである。著者らは限界として、トレースは自分たち自身の日常的な研究利用から得たものであるため、結果が他の組織、ワークフロー、エージェントの領域に一般化できない可能性があること、プロバイダー内部のテレメトリがないため、ワークロードのパターンは特定できてもスケジューリングやキャッシュポリシーといった背後の仕組みは推測するしかないこと、そして今後のトレース研究はこの手法をより広範なコンピュータ操作エージェントや自動化エージェントへと拡張すべきであることを挙げている。