この arXiv プレプリントは、イシュー解決システムの測定方法について著者らが見出したギャップに 取り組む。論文はまずタスクを定義する。イシュー解決のタスクとは、与えられたイシューに対処する パッチを生成するためにコードベースを修正することである。そのうえで問題を述べる。既存の ベンチマーク（著者らはその例として SWE-Bench を挙げる）はほぼ Python のみに焦点を 当てており、著者らはそのために、多様なソフトウェアエコシステムにわたって大規模言語モデルを 評価するには不十分だと主張する。
その答えが Multi-SWE-bench であり、Java、TypeScript、JavaScript、Go、Rust、C、C++ を 対象とする多言語のイシュー解決ベンチマークである。論文はその規模と、その規模に至った経緯の両方を 示している。1,632 件の高品質なインスタンスが、2,456 件の候補から 68 名の専門アノテーターによって 丁寧にアノテーションされたものであり、著者らはこれを、このベンチマークが正確で信頼できる評価を 提供できる理由として挙げている。
これを基盤に、著者らは一連の最先端モデルを 3 つの代表的な手法で評価する。その手法として Agentless、SWE-Agent、OpenHands を 挙げ、主要な実証的知見を伴う包括的な分析と彼らが呼ぶものを提示している。
論文の 2 つめの貢献は、評価から訓練へと軸足を移す。著者らは、イシュー解決タスクのための 大規模な強化学習用訓練データセットの構築を目的とするオープンソースコミュニティ Multi-SWE-RL を立ち上げ、最初の貢献として、7 つのプログラミング言語にまたがる 4,723 件の整った構造のインスタンスを公開する。さらに、データ作成パイプライン全体を詳細な チュートリアルとともにオープンソース化し、これをオープンソースコミュニティがデータセットに 継続的に貢献し拡張していくことを促すものと位置づけている。著者らは最後に、Multi-SWE-bench と 成長を続ける Multi-SWE-RL コミュニティが、強化学習をその潜在能力の最大限まで前進させる触媒と なることを展望している。
このプレプリントはソフトウェアエンジニアリング (cs.SE) に分類され、人工知能 (cs.AI) と 計算と言語 (cs.CL) にクロスリストされている。2025 年 4 月 3 日に投稿され、arXiv が発行した DOI 10.48550/arXiv.2504.02605 が付与されている。
要点
- 論文が掲げる問題は、既存のイシュー解決ベンチマークがほぼ Python のみに焦点を当てていることであり、著者らはそのために多様なソフトウェアエコシステムにわたって LLM を評価するには不十分だと主張する。
- Python 以外の 7 言語（Java、TypeScript、JavaScript、Go、Rust、C、C++）を対象とする Multi-SWE-bench を導入する。
- ベンチマークの 1,632 件のインスタンスは、2,456 件の候補から 68 名の専門アノテーターによってアノテーションされたものであり、著者らはこれを評価を正確で信頼できるものにする要因として提示している。
- 著者らはこのベンチマーク上で、3 つの代表的な手法（Agentless、SWE-agent、OpenHands）を用いて最先端のモデルを評価し、主要な実証的知見を伴う包括的な分析を報告している。
- イシュー解決のための大規模な強化学習用訓練データセットを構築するオープンソースコミュニティ Multi-SWE-RL を立ち上げ、最初の貢献として 7 つのプログラミング言語にまたがる 4,723 件の整った構造のインスタンスを公開している。
- データ作成パイプライン全体が詳細なチュートリアルとともにオープンソース化されており、その狙いは、コミュニティがデータセットに継続的に貢献し拡張できるようにすることだとされている。
補足
この論文は、目的の異なる 2 つの貢献、すなわち評価用ベンチマークと訓練データの取り組みを含んでおり、 両者を共通のタスク定義と共通のデータ作成パイプラインによって結びつけている。著者らは、公開した インスタンスだけでなく、公開したパイプラインこそが 2 つめの貢献を拡張可能にするものだと位置づけて いる。既存のベンチマークに関する主張は言語カバレッジのレベルで述べられたものであり、論文自身の 数値が記述しているのは Multi-SWE-bench と Multi-SWE-RL の初回リリースであって、対比されている ベンチマークについてではない。