この arXiv プレプリントは SWE-Bench Pro を提案している。これは SWE-Bench のベストプラクティスを土台としつつ、そのベンチマークの範囲を超える現実的で複雑なエンタープライズレベルの問題を捉えるよう明示的に設計された、大幅に難度の高いベンチマークとして提示されている。
論文はベンチマークの構成を詳しく示している。ビジネスアプリケーション、B2B サービス、開発者ツールにまたがる、活発にメンテナンスされている多様な 41 のリポジトリから集めた 1,865 件の問題を収録し、3 つに分割されている。11 のリポジトリから集めた問題に自由にアクセスできる公開セット、12 のリポジトリからなる保留（held-out）セット、そして 18 の非公開リポジトリからなる商用セットである。商用セットについて著者らは、アーリーステージのスタートアップとの正式なパートナーシップ契約のもとで保持していると述べている。保留セットと商用セットの問題は公開されていないが、著者らは商用セットでの結果を公表すると述べている。
タスクを特徴づけているのはその長さである。著者らはこのベンチマークを、プロのソフトウェアエンジニアが完了するのに数時間から数日を要しうる長期的なタスクを備えたものと説明しており、多くの場合、複数ファイルにまたがるパッチと大幅なコード変更を伴う。また、すべてのタスクは人手で検証され、解決可能性を担保するのに十分なコンテキストが補われていると述べている。これにより、失敗はタスクの仕様の問題ではなく、エージェントの失敗ということになる。
ベンチマークとあわせて、著者らはエージェントがこのベンチマークでどのように失敗するかの分析も報告している。観察された限界をよりよく理解するため、収集したエージェントの軌跡に見られる失敗モードをクラスタリングし、現在のモデルが示すエラーパターンをより明確に特徴づけたとしている。著者らは全体を、現実のソフトウェア開発の複雑さと多様性をより忠実に捉えた、汚染耐性のあるテストベッドであり、プロフェッショナルなレベルで真に自律的なソフトウェアエンジニアリングエージェントの追求を前進させるものだとまとめている。
このプレプリントはソフトウェアエンジニアリング（cs.SE）に分類され、計算と言語（cs.CL）にもクロスリストされている。2025 年 9 月 21 日に初めて投稿され、2025 年 11 月 14 日にバージョン 2 として改訂された。arXiv が発行した DOI 10.48550/arXiv.2509.16941 が付与されている。
主なポイント
- 本論文は SWE-Bench Pro を、SWE-bench のベストプラクティスを土台としつつ、その範囲を超えるエンタープライズレベルの問題を対象とする、大幅に難度の高いベンチマークとして提案している。
- ベンチマークは、ビジネスアプリケーション、B2B サービス、開発者ツールにまたがる、活発にメンテナンスされている 41 のリポジトリから集めた 1,865 件の問題を収録している。
- 公開セット（11 リポジトリ）、保留セット（12 リポジトリ）、商用セット（アーリーステージのスタートアップとの正式なパートナーシップ契約のもとで保持される 18 の非公開リポジトリ）に分割されている。後者 2 つは公開されていないが、商用セットでの結果は公表される。
- タスクは長期的なものである。著者らによれば、プロのソフトウェアエンジニアにとって数時間から数日の作業を要しうるもので、多くの場合、複数ファイルにまたがるパッチと大幅なコード変更を伴う。
- すべてのタスクは人手で検証され、解決可能性を担保するのに十分なコンテキストが補われている。
- 著者らは、収集したエージェントの軌跡に見られる失敗モードをクラスタリングし、現在のモデルが示すエラーパターンを特徴づけている。
- 著者らは成果を、現実のソフトウェア開発の複雑さと多様性をより忠実に捉えた、汚染耐性のあるテストベッドとまとめている。
補足
ベンチマークの 3 つの分割のうち 2 つは公開されていないとされており、商用セットはそもそもアーリーステージのスタートアップとの正式なパートナーシップ契約があってこそ存在している。人手による検証と十分なコンテキストという条件は解決可能性についての保証として述べられており、このベンチマークでの低スコアが何を意味すると読めるかを限定している。このプレプリントは 2025 年 9 月から 11 月の間に 2 つのバージョンを経ている。