ヨーク大学によるこのプレプリントは、LLM ベースのシステムが SWE-Bench のイシューを本当に 解決しているのかを問う。研究時点で、SWE-bench のオンラインリーダーボードでは GPT-4 を用いた SWE-Agent が首位にあり、他の上位手法はクローズドソースの商用ツールか、再現性について SWE-bench チームの検証を受けていないものだった。著者らは、SWE-Agent が解決したと報告されたインスタンスの うち、評価ログですべてのテストの通過が確認された 251 件を残し、3 人の著者がそれぞれ独立に、 イシューレポート、テスト、議論を確認しながら、生成された各パッチを開発者による正解パッチと比較した。
著者らはパッチを 6 つのパターンに分類する。修正を疑わしいものにするパターンが 4 つある。修正内容が イシューの記述やそのコメント（どちらもモデルへの入力として与えられる）に書かれている解答リーク、 テストは通過するが誤っている修正、正解パッチとは異なるファイルや関数を変更する修正、そして不完全な 修正である。正しいとみなされるパターンは 2 つあり、正解パッチとは異なるがイシューを解決する修正と、 正解パッチより包括的な修正である。論文は、疑わしいパターンの原因をベンチマークの 2 つの根本原因、 すなわち 解答リーク と弱いテストケースにたどり、さらに 3 つ目の懸念として、 ほとんどのイシューがモデルの学習カットオフ日より前のものであることを挙げている。
これを受けて著者らは SWE-Bench+ を構築する。これは SWE-bench 自身の手法を用いて、 モデルのカットオフ日より後に作成されたイシューから収集し、イシューレポート中の解答の有無を手作業で 精査したものであり、著者らはこれを使って 4 つのシステムを再評価している。また、ベンチマークは コストと併せて読むべきだと主張し、解決したイシュー 1 件あたりの、有効性を考慮したコストを提案して いる。
要点
- 完全版 SWE-bench ですべてのテストを通過した SWE-Agent+GPT-4 の 251 件のパッチのうち、32.67% は解答リーク、12.75% は誤った修正、3.59% は異なるファイルや関数の変更、14.74% は不完全な修正だった。30.27% は正しいが正解パッチとは異なり、5.98% は正解パッチより包括的だった。
- 著者らは、誤った修正、不完全な修正、誤った箇所への修正がそれでも通過してしまうのは、パッチの正しさを検証できない弱いテストのためだとしている。
- 正しい修正のみを数えた場合の、完全版 SWE-bench における SWE-Agent+GPT-4 の解決率について、論文はアブストラクトと概要では 12.47% から 3.97% に下がると報告しているが、2.2 節では 5.49% としている。
- SWE-bench Lite と SWE-bench Verified では、著者らはイシューやその議論に解答が含まれるインスタンスをそれぞれ 18 件と 37 件特定し、疑わしい修正によって SWE-Agent+GPT-4 の解決率が Lite では 18% から 9.33% に、Verified では 22.4% から 10.0% に下がると報告している。
- 論文は、SWE-bench のイシューとプルリクエストの 94% が、対象とした LLM の学習カットオフ日より前に作成されていたと述べ、データリークの可能性という懸念を提起している。
- SWE-Bench+ では解答リークは見られなくなったが、弱いテストの問題は残っている。解決済みとされたインスタンスのうち平均で約 67.72% は実際にはイシューを解決しておらず、最も多い原因はモデルがバグのあるファイルや行を特定できなかったことだった。
- SWE-Bench+ でパッチを検証した後の報告された解決率は、SWE-RAG+GPT-4 が 0.73%、SWE-RAG+GPT-3.5 が 0.55%、SWE-Agent+GPT-4 が 0.55%、AutoCodeRover+GPT-4o が 3.83% である。
- 著者らは、今後の研究では手法の精度と併せて金銭的コストも報告するよう推奨している。
補足
この研究は特定のシステム（主に GPT-4 を用いた SWE-Agent）のパッチに限られ、正解パッチとの手作業に よる比較に依拠しており、意見の相違は著者間の議論で解決されている。論文は査読中のプレプリントであり、 上で完全版 SWE-bench の解決率について述べたように、一部の数値は節によって食い違って記載されている。 著者らは SWE-Bench+ のテストケースの堅牢性に関するさらなる研究を求め、HumanEval などの他の ベンチマークについても同様の研究を行うことを提案している。イシューが学習カットオフより前のもので あるという懸念は データ汚染 に関係しており、この研究は SWE-Agent と AutoCodeRover が生成したパッチを 調べている。