TraceLab は、コーディングエージェントを効率的にサービングするための研究を支援する目的で、ワシントン大学が主導した研究 TraceLab：LLM サービングのためのコーディングエージェントのワークロード特性評価 の著者らが収集・公開した、実際のコーディングエージェント利用のトレースである。約 4,300 セッションを含み、それらは約 35 万の LLM ステップと 43 万のツール呼び出しから構成される。43 人の開発者が約 8 か月にわたって Claude Code と OpenAI Codex を日常的に利用した記録から、20 を超えるモデルバージョンにわたって収集された。著者らは、これを彼らの知る限り、実際のコーディングエージェント利用に関する初の大規模なプロバイダー横断トレースであると説明している。
内容
トレースはステップ単位のスキーマに正規化されており、各行が 1 つのステップ、すなわち 1 回の LLM 呼び出しと、それが生成するツール呼び出しを表す。各ステップの入力は、プレフィックストークン（プレフィックスキャッシュから読み出された履歴）とアペンドトークン（ユーザーメッセージ、ツール結果、キャッシュミスによって持ち込まれたトークンを含む、新たに追加された入力）に分解され、出力トークンも併記される。また各ステップは、タイムスタンプ付きイベント — ユーザーメッセージ、ツール結果、推論および出力テキスト、ツール呼び出し — の順序付きリストを保持しており、そこからそのステップのタイムラインを再構成できる。
プロバイダー別では、トレースは 37 人のユーザーによる 2,676 件の Claude セッション（2025 年 10 月〜2026 年 6 月）と、22 人のユーザーによる 1,589 件の Codex セッション（2025 年 9 月〜2026 年 6 月）を含み、合計で 357,161 の LLM ステップと 432,510 のツール呼び出しとなる。対象モデルは 23 種で、Claude では主に opus-4-7（63.1%）、Codex では主に gpt-5.5（47.5%）と gpt-5.4（26.0%）である。入力の総量は 549 億トークンで、そのうち 525.6 億がプレフィックストークン、23.4 億がアペンドトークンであり、出力トークンは 1 億 8,690 万である。著者らは、API の定価換算で約 4.04 万ドルに相当すると見積もっている。
出自
データは、Claude Code と Codex がデフォルトで保存するセッションログに由来する。このログには、メタデータ、ユーザーメッセージ、暗号化された推論、中間出力、ツール呼び出し、ツール結果が記録されている。著者らは、これらのログを抽出し、2 つのエージェントで異なるイベント構造、トークン計上、ツールのタイミングに関するメタデータを統一スキーマへと整合させ、結果を匿名化するパイプラインを構築した。ユーザーのプライバシーを保護するため、公開されるのはサニタイズ済みのトレースのみである。セッション、ツール呼び出し、プロジェクト、ユーザーの各識別子は安定した仮名に置き換えられ、生のユーザーメッセージとツールの入出力テキストは削除されて、トークン使用量とタイムスタンプに加えてそれらの文字数のみが残されている。データセット、収集パイプライン、分析コードはプロジェクトの GitHub リポジトリで公開されており、プロジェクトのウェブサイトは https://tracelab.cs.washington.edu にある。
セッションは著者ら自身の研究ワークフロー — システム構築、評価、分析 — に由来するため、著者らは、そこから得られた結果が他の組織、開発ワークフロー、エージェントのドメインに完全には一般化できない可能性があると注意を促している。
利用
TraceLab：LLM サービングのためのコーディングエージェントのワークロード特性評価 はこのトレースを用いて LLM サービングの観点からコーディングエージェントのワークロードを特性評価しており、他の知見とともに、全体のプレフィックスキャッシュヒット率が 95.7% であり、ミスは人間のペースによる間隔の後に集中すること、そしてプレフィックストークンの再読み込みが価格換算コストの 59.5% を占めることを報告している。