SWE-Bench Pro は、AI エージェントが長期にわたる（long-horizon）ソフトウェアエンジニアリングタスクを解決できるかを 評価するためのベンチマークである。これを導入した論文 SWE-Bench Pro: AI エージェントは長期的なソフトウェアエンジニアリングタスクを解けるか？ は、 SWE-Bench のベストプラクティスを土台としつつ、同ベンチマークの範囲を超える、現実的で複雑な エンタープライズレベルの問題を捉えるよう明示的に設計されたものとして提示している。
内容
導入論文によれば、このベンチマークは、ビジネスアプリケーション、B2B サービス、開発者ツールにまたがる、 活発に保守されている多様な 41 のリポジトリから集めた 1,865 件の問題からなる。これらのリポジトリは 3 つに 分割されている。11 のリポジトリから集めた問題に自由にアクセスできる公開セット、12 のリポジトリからなる ホールドアウトセット、そして 18 のプロプライエタリなリポジトリからなる商用セットである。ホールドアウトセットと 商用セットの問題は公開されていないが、著者らは商用セットでの結果を公表するとしている。
導入論文は、このベンチマークのタスクを、プロのソフトウェアエンジニアでも完了までに数時間から数日を要しうる 長期にわたるタスクであり、しばしば複数ファイルにまたがるパッチや大規模なコード変更を伴うものと説明している。 すべてのタスクは人手で検証され、解決可能性を確保するのに十分なコンテキストが補われているとされる。
来歴
問題の出所である 41 のリポジトリは、活発に保守されているものと説明されている。商用パーティションの 18 の リポジトリはプロプライエタリであり、導入論文によれば、著者らはそれらを対象とする正式なパートナーシップ契約を アーリーステージのスタートアップと結んでいる。このパーティションとホールドアウトパーティションの問題は公開されていない。 著者らはこのベンチマークを、実世界のソフトウェア開発の複雑さと多様性をより忠実に捉える、データ汚染に強い テストベッドとしてまとめている。
エージェント型ソフトウェアエンジニアリング：基盤となる柱と研究ロードマップ は、SWE-Bench から SWE-Bench Verified、そして SWE-Bench Pro へと至る流れをたどり、これを分野の急速な進歩と、 エージェントの能力について汚染されていない測定を維持することの難しさの両方を示す証拠と呼んでいる。同論文は SWE-Bench Pro を、SWE-Bench Verified がデータ汚染にますますさらされるようになった後に、OpenAI がその代わりとして 推奨したベンチマークとして説明している。
利用
導入論文は、見出しとなるスコアではなく、エージェントがこのベンチマークでどのように失敗するかの分析を報告している。 著者らは、現在のモデルが示すエラーパターンをより明確に特徴づけるため、収集したエージェントの軌跡に見られた 失敗モードをクラスタリングしている。