SWE-chat は、Baumann らが SWE-chat: 実環境における実ユーザーとコーディングエージェントのインタラクション で提案した、実際のコーディングエージェントのセッションからなるデータセットであり、同論文はこれを、実環境の オープンソース開発者による実際のコーディングエージェントのセッションを集めた初の大規模データセットだと 説明している。これは生きたデータセットであり、その収集パイプラインは公開リポジトリから新しいセッションを 自動的かつ継続的に発見し、処理する。また、コーディングエージェントはいかにユーザーを失望させるか：実世界の 20,574 セッションにおける開発者とエージェントのミスアライメントの大規模分析 の 背後にある 2 つのデータセットの一つとしても使われており、同研究ではとくに CLI のワークフローをカバーし、 同研究が組み合わせる IDE 寄りの SpecStory エクスポートを補完している。
内容
1 件のレコードは 1 つのコーディングエージェントのセッションであり、ユーザープロンプト、エージェントの応答、 そしてファイル編集、シェルコマンド、コード検索といったツール呼び出しのトレースが交互に並び、トークン使用量も あわせて記録される。著者らによれば、このデータセットを特徴づけているのは、セッションがコミットに 紐づけられ、コミットされた行のうちどれを人間が書き、どれをエージェントが書いたかが行単位で帰属されている 点である。著者らが比較したエージェント関連のデータセットの中で、人間のプロンプト、エージェントのツール利用の 軌跡、コードの差分、コードの帰属情報をすべて組み合わせているのはこのデータセットだけである。2026 年 4 月 時点で、200 を超えるリポジトリにわたる約 6,000 のセッションを保持しており、チェックポイントは 13,000 超、 ユーザープロンプトは 63,000、エージェントのツール呼び出しは 355,000 にのぼる。完全なログには、ストリーミング される進捗イベント、ツール呼び出しの戻り値、少数の推論トレースを含む 270 万件のイベントが含まれる。データの 約 85% は、ロギングツールが最初にサポートしたエージェントである Claude Code に 由来し、OpenCode、Gemini CLI、Cursor、Factory AI Droid のセッションも記録されている。提案論文はまた、 セッションの成否、ユーザーのペルソナ、プロンプトの意図、ユーザーによる反発（pushback）について、LLM の ジャッジを用いてセッションとプロンプトにアノテーションを付けている。
コーディングエージェントはいかにユーザーを失望させるか：実世界の 20,574 セッションにおける開発者とエージェントのミスアライメントの大規模分析 では、このコーパスは 198 のリポジトリにわたる 5,785 のセッションを提供している。同研究では CLI のセッションは IDE のセッションより長く続き、 ユーザーが書いたメッセージの 1 セッションあたりの中央値は、CLI グループ全体で 5、IDE グループ全体で 3 と 報告されている。ただし、統合データセットにおけるエージェントごとの中央値は大きくばらついている （OpenCode で 8、Claude Code で 5、OpenAI Codex で 1）。
同研究がこれらと組み合わせる初期の SpecStory エクスポートとは異なり、これらのセッションではエージェントの 識別情報が記録されている。同研究の CLI グループでは、セッションは Claude Code （6,648）、OpenCode（624）、OpenAI Codex（517）、Gemini CLI（39）、Cursor CLI （32）に帰属され、483 件はエージェント不明である。これらの件数は SWE-chat 単体ではなく、同研究の統合された CLI グループを表したものである。同研究はモデルの識別情報ごとの結果分析を行っておらず、その理由として 2 つを 挙げている。SpecStory エクスポートがそれを記録していないこと、そして SWE-chat の中では Claude 系モデルが アノテーション済みの応答の 94.9% を占めており、意味のある比較を行うには変動が不十分であることである。
来歴
このコーパスは Entire CLI を通じて収集されている。これはコーディングエージェントの セッションをログに記録し、チェックポイントのメタデータとともにリポジトリの専用ブランチに保存する オープンソースのツールである。提案論文のパイプラインは、GitHub のコード検索 API を通じてこのツールを 使っている公開 GitHub リポジトリを見つけ、それらのチェックポイントディレクトリをダウンロードし、生の トランスクリプトを構造化されたテーブルにパースする。その際、自動化されたボットによって生成されたと 思われるデータは除外される。再配布を許可するライセンスを持つリポジトリのみが含まれ、プロンプトに添付された 画像は収集されない。また公開前に、すべてのユーザープロンプトとアシスタントの応答から、個人を特定できる 情報は Microsoft Presidio によって、API キーや OAuth トークンといった認証情報は TruffleHog によって 除去される。この研究手続きは、スタンフォード大学の倫理審査委員会（IRB）によって審査免除とされた。
著者らは、このデータセットが公開チェックポイントロギングにオプトインした開発者のみを捉えているため、 アーリーアダプターの母集団を反映しており、プロプライエタリな企業のコードベースを含まず、すべての コーディングエージェント利用者に一般化できるとは限らないと注意を促している。初期データの大部分は ロギングツール自身のリポジトリに由来していたが、その割合は採用が広がるにつれて 20% 未満に下がったと 報告されている。このデータセットを再利用した後続の研究は、そのセッションを、2026 年 1 月から 4 月の間に オプトインした GitHub 上の開発者による公開チェックポイントログだと説明し、その公開性を偶発的な露出では なく開発者の意図的な行動を反映したものと位置づけている。また同研究は、分析の前に、抽出したレコードから 個人を特定できる情報（氏名、メールアドレス、電話番号、そして API キーや OAuth トークンといった認証情報）を 墨消ししたと報告している。
利用
SWE-chat: 実環境における実ユーザーとコーディングエージェントのインタラクション は、このデータセットを 用いて、実世界でのコーディングエージェントの利用実態を特徴づけている。その中には、エージェントがコミット されたコードのほぼすべてを書くセッションと、人間がそのすべてを書くセッションとに二極化していることや、 コードの残存率の低さやユーザーによる頻繁な反発といった失敗モードが含まれる。著者らはまた、このデータセットを、 実際のワークフローに根ざしたベンチマークの素材として、またオフライン評価のためのユーザーシミュレーターを 学習させる素材として提案している。
コーディングエージェントはいかにユーザーを失望させるか：実世界の 20,574 セッションにおける開発者とエージェントのミスアライメントの大規模分析 は、SWE-chat と SpecStory エクスポートの再クロール を組み合わせ、1,639 のリポジトリから 20,574 のセッションを構成している。その前に、2 つのデータセットに 重複するリポジトリがないことを確認している。同研究における CLI と IDE の対比（とりわけ、CLI のセッションの ほうが制約違反を起こしやすく、プロジェクトや外部の状態にまで損害が及びやすいこと）は、CLI 側について SWE-chat に依拠している。この分析の CLI グループは両データセットのセッションを統合したものであるため、 著者らは SpecStory のデータだけで比較をやり直し、絶対値は異なったものの、すべての傾向の方向は維持されたと 報告している。