Together AI の研究ブログに掲載され、Agentica チームと Together AI の共同研究として発表されたこの記事は、DeepSWE-Preview を紹介している。これは、Qwen3-32B モデルをベースに強化学習（RL）のみを用いて訓練された、推論対応のコーディングエージェントである。記事の問題設定は、RL ベースの推論モデルを長期にわたる多段階のエージェント的タスクへスケールさせることは依然として未解決の問題だというものであり、自律的なソフトウェアエンジニアリング（GitHub のイシューの解決、機能の実装、デバッグ）をそのようなタスクの代表例として扱っている。
エージェントは、言語エージェントの事後訓練のための Agentica のフレームワークである rLLM で訓練され、著者らはデータセット、コード、訓練ログおよび評価ログをオープンソースとして公開したと述べている。評価は SWE-Bench Verified で行われている。
主な主張
- ソフトウェアエンジニアリングのタスクは RL 環境として定式化される。エージェントはコードベースを収めたターミナルとファイルシステムの中で、bash の実行、検索、ファイルビューア／エディタ、完了ツールを使って作業し、そのパッチが制限時間内にプロジェクトのテストから選ばれたサンプルに合格した場合にのみ報酬 1 を、それ以外の場合は 0 を受け取る（疎な結果報酬）。
- 訓練には R2E-Gym 環境のサブセットから取った 4,500 件の実世界のタスクが使われた。汚染を避けるため、SWE-Bench-Verified にも登場するリポジトリは除外されており、訓練は 64 基の H100 GPU で 6 日間行われた。
- ロールアウトのスケーリングには、コンテナのオーケストレーションを Kubernetes に移す必要があった。RL の各イテレーションでは 512 個の Docker コンテナが並列に起動され、並行して行われる実験と相まって Docker デーモンに過負荷をかけていたが、コンテナをオートスケールするノードプール全体にスケジュールするようにして解消した。
- GRPO++ と呼ばれる訓練アルゴリズムは、GRPO に対する公開済みの複数の改良（DAPO による高いクリップ上限と KL 損失の除去、Dr. GRPO による報酬の標準偏差による正規化と長さ正規化の除去、leave-one-out によるアドバンテージ推定）に、著者ら独自の 2 つの改良、すなわち コンパクトフィルタリング と、訓練を不安定にしたと報告されているエントロピー損失の除去を組み合わせたものである。
- 著者らは SWE-Bench-Verified で 42.2% の Pass@1（16 回の実行の平均）と 71.0% の Pass@16 を報告しており、さらに実行ベースの検証器と実行を伴わない検証器を組み合わせて 16 個の候補軌跡から選ぶ方法（「ハイブリッド」なテスト時スケーリング）では 59% に達したとして、これを当時のオープンウェイトのコーディングエージェントとして最先端だと説明している。
- 出力長によるテスト時計算量のスケーリングはこれらのタスクではほとんど役に立たず、32K トークンのコンテキストを超える改善はわずか（最大 2%）だったと報告されている。一方、ロールアウト数のスケーリングは効果があり、改善の大部分は 8 回のロールアウトで得られた。
- 0/1 報酬による純粋な RL から創発したと著者らが説明する振る舞いには、エッジケースを考え抜くこと、提出前にリポジトリの既存の回帰テストを探して実行すること、そしてバグの特定のような難しいステップには多くの思考トークンを費やし、ファイルのスクロールのような単純なステップにはごくわずかしか費やさないことが含まれる。
- 彼らの実験でうまくいかなかったと報告されているアプローチもいくつかある。Claude Sonnet 3.7/4 の軌跡でファインチューニングしたモデルから RL を始めること、R2E-Gym の代わりに SWE-Smith や SWE-Gym のデータセットで訓練すること、そして Qwen3-32B の非思考モードで RL を行うことである。
背景
記事は DeepSWE-Preview を、同じチームがそれ以前に出した数学とコーディング向けの推論モデル DeepScaleR と DeepCoder に続くものとして位置づけ、高品質な実行環境があれば RL による推論が長期にわたる多段階のエージェントにスケールできることを示すための第一歩としている。上記のベンチマークの数値はすべて著者ら自身が報告した結果である。今後の方向性としては、DeepSWE-Preview の上にさらにモデルを訓練すること、より長いコンテキストでより大きなモデルを訓練すること、Web エージェントなど他のエージェント的な領域へ拡張することが挙げられている。