このレポートは、対話型の エージェント型コーディング を研究するためのフレームワークを導入し、 それを 2025 年 10 月から 2026 年 4 月までに記録された約 40 万件の Claude Code セッションに対するプライバシー保護型の分析に適用している。そのデータに対して 3 つの問いを立てる。 作業が実際に何から成るのか、意思決定が人とエージェントの間でどのように分担されているのか、そして 成功に終わるセッションを何が特徴づけるのか、である。
見出された分業は、特定のかたちで非対称である。人は計画に関する意思決定 ― 何をするか、どのアプローチを とるか、何をもって完了とするか ― の約 70% を行い、エージェントは実行に関する意思決定 ― どのファイルを 変更するか、どのようなコードを書くか、どのコマンドを実行するか ― の約 80% を行う。著者らはこれを、 人が何を作るかを決め、エージェントがどう作るかを決める、と要約している。
表題にもなっている知見は、この分担から最も多くを引き出すのは誰かに関するものである。ユーザーがタスク 固有の専門性をより多く示すセッションほど成功率が高く、1 つの指示あたりでより長いエージェントの作業の 連鎖を起動する。それにもかかわらず、コーディングタスクでは、主要な職業のいずれもがソフトウェア エンジニアに近い成功率を示している。著者らはこれらを合わせて、成功するプログラミングにとって コーディングの経歴の重要性は薄れつつある一方、ドメインへの習熟はそうではないことを示す証拠と読んでいる。
要点
- この研究は各セッションを 9 つの作業モードのいずれかに分類する。セッションの約 56% はコードを書く （25%）、修正する（26%）、あるいはテストやオーケストレーションを行う（5%）もので、17% はソフトウェアを 運用し（デプロイ、設定、パイプラインの実行、監視）、14% は計画を立てるか既存システムの振る舞いを 解明し、13% はデータ分析や文章ドキュメントを作成する。
- 意思決定の帰属は分類器によって測定される。この分類器はセッション中の意味のある意思決定を列挙し、 それらを計画と実行に分け、それぞれを人またはエージェントに帰属させる。平均的な結果では、計画に関する 意思決定の約 70%、実行に関する意思決定の約 20% が人に帰属する。
- 典型的なセッションは約 4 ターンで、ユーザーのプロンプト 1 つが平均して約 10 回 ― ときには 100 回を 超える ― のエージェントのアクションの連鎖を起動する。エージェントはファイルを読み、コードを編集し、 コマンドを実行し、1 ターンあたり平均 2,400 語の出力を書く。
- エージェントがチェックインの合間にどれだけの作業を行うかは、誰が意思決定を握っているかに連動する。 ユーザーが実行に関する意思決定の 80% 超を行う場合、エージェントは 1 ターンあたり約 8 回のアクションを とり、エージェントが計画に関する意思決定の 80% 超を行う場合は約 16 回をとる。
- 専門性はトランスクリプトから初心者から専門家までの 5 段階の尺度で評価され、職位や一般的な能力の 代理指標ではなく明示的にタスク固有のものとされる。著者らが挙げる例は、Rust について初めて質問する シニアエンジニア（Rust については初心者）と、Python を一度も使ったことはないが、スクリプトが どの照合ルールを強制すべきかを正確に指定できる会計士（そのタスクについては専門家）である。
- 専門性の分類器が読み取る 3 つのシグナルは、ユーザーが指示をどれだけ正確に組み立てるか、 エージェントに何を検証するよう求めるか、そしてユーザーがエージェントを正すのか、エージェントが ユーザーを正すのか、である。
- 専門家のセッションは初心者のセッションよりも 1 つの指示あたりで多くの作業を引き出す。プロンプト 1 つあたり約 12 回のアクションと 3,200 語に対し、初心者ではおよそ 5 回のアクションと 600 語である。 この差はあらゆる種類の作業、あらゆるタスク価値の帯域の内部で現れ、作業モード、タスク価値、月、職業、 モデルファミリーを統制し、標準誤差をユーザー単位でクラスタリングした回帰においても、専門性 1 段階 あたりアクション +9%、出力 +13% として残る。
- 成功はトランスクリプトから 2 つの方法で測定される。判定上の成功 はトランスクリプト全体を読む 分類器によって判定される。検証済みの成功 はさらに、作業に対応する git のコミットやプルリクエスト、 テストスイートの合格、あるいはユーザーによる明示的な肯定といった、少なくとも 1 つの確かな検証可能な シグナルを要求する。明確な目標がないと判定されたセッション（サンプルの約 7.7%）は成果の分析から 除外される。
- 初心者と評価されたセッションは、15% で検証済みの成功に、77% で少なくとも部分的な成功に達する。 中級以上と評価されたセッションは、28〜33% で検証済みの成功に、91〜92% で部分的な成功に達する。 向上の大部分は初心者から中級への移行によるもので、中級から専門家の間では傾きが小さくなる。
- 問題に直面したセッション ― エラー、テストの失敗、繰り返しの試行、ユーザーの苛立ちといった失敗の シグナルが記録されたもの ― では、検証済みの成功は初心者と評価されたセッションの 4% から専門家と 評価されたセッションの 15% へと上昇し、少なくとも部分的な成功は 60% から 80〜81% へと上昇する。
- 失敗と判定され、書かれたコードが 0 行のセッションは放棄されたものとして数えられる。問題に直面した 初心者評価のセッションの 19% がそのように終わるのに対し、それ以外では 5〜7% である。著者らはこれを、 専門性の価値の一部が、あきらめるのではなくエージェントを舵取りできる能力にあることを示すものと 読んでいる。
- 職業による成果の差は、専門性による差よりもはるかに小さい。ソフトウェア関連の職業の人々は セッションの約 30% で検証済みの成功に達し、その他の職業では 26% である。コードを生成するセッション では 34% 対 29% である。より緩い尺度では、コードを生成するセッションにおいて両グループがそれぞれ 89% と 88% で少なくとも部分的な成功に達する。上位 10 の職業はいずれも、ソフトウェアエンジニアとの 差が 7 ポイント以内に収まる。
- その 5 ポイントの差は、両グループで成功率が上昇したにもかかわらず、観測された 7 か月の間に拡大も 縮小もしなかったと報告されている。検証済みの成功で最も高いスコアを示すのは管理職で、ソフトウェア エンジニアリングをわずかに上回る。著者らはこれが、エージェントを指揮するうえで転用可能なスキルを 反映している可能性を示唆しつつ、検証の一部がトランスクリプト内での明示的な確認に依拠しているため、 部分的には測定の影響である可能性もあると注意を促している。
- 7 か月の間に、デバッグに費やされるセッションの割合はほぼ半減し、利用はよりエンドツーエンドの エージェント的な作業 ― コードのデプロイと実行、データの分析、コード以外のドキュメントの作成 ― へと 移行した。一方、フリーランスの求人との比較から推定された典型的なタスクの価値は、平均で約 25% 上昇した。
注記
著者らは、知見が予備的なものであると述べ、その限界を率直に挙げている。現実世界での成果は観測されて いない。この研究では、セッションで書かれたコードが使われたのか破棄されたのか、あるいは経済的に価値の あるものを生み出したのかを知ることはできない。活動のかなりの割合を占めるとされる非対話型の利用は 完全に除外されており、それを測定するためのフレームワークの構築が今後の優先課題として挙げられている。
あらゆる分類は、トランスクリプトを読むモデルに依存している。著者らは、自らの分類器が独立した テレメトリと想定どおりの方向で連動し ― コードの作成や変更とラベル付けされたセッションの 90% 超で、 テレメトリ上にコードの変更が見られた ― 大半のセッションで強力な参照モデルと一致したと報告している。 ただし、分類器を大規模に検証することは依然として難しく、これらのセッションは人手のラベルを正解として 用いるには長く複雑すぎる可能性があるとも注意を促している。専門性と成功の尺度もまた相関的なもので ある。この研究は、専門家が単に異なるタスクを選んでいるだけではないかという懸念に対し、作業モード、 推定タスク価値、月、主題、大まかな職業グループでマッチさせたセッションを比較することで対処しているが、 これは実験ではなくマッチング戦略である。
このレポートは自らの尺度を、確定した結果ではなく変化を追跡するための計測手段として位置づけており、 注視していくことが予想される 2 つの変化を挙げている。1 つは専門性がもたらすリターンの低下で、これは 現在ユーザーが持ち込んでいる判断をモデルが供給し始めていることを示唆する。もう 1 つはソフトウェア職 以外の人々による成功したコーディングセッションの継続的な増加で、これはソフトウェアの生産があらゆる 分野における通常の仕事の一部になりつつあることを示唆する。分類器の表に掲載された例は、エージェント型 コーディングのセッションの公開データセットである SWE-chat から取られている。