SWE-Review-Bench は、エージェント型コードレビュー（エージェント型コードレビュー）をエンドツーエンドで 測定するために SWE-Review: エージェント型コードレビューによるイシュー解決のループの閉鎖 で提案された評価用ベンチマークである。先行するレビューの ベンチマークが、レビューを参照コメントと照らし合わせて採点したり、プロンプトに左右されやすい評価器で 自由記述のテキストを判定したりしていたのに対し、このベンチマークは、レビューの 2 つの側面、すなわち 承認か変更要求かの判断と、文章で書かれた診断の両方を、パッチが実際にイシューを解決しているかどうかの 実行可能な検証に照らして確認できるように構築されている。
内容
1 件のレコードは 1 つのレビューインスタンスであり、該当するコミット時点でチェックアウトされたリポジトリ、 自然言語のイシュー、そして提案された差分、タイトル、本文を伴う 1 つの候補プルリクエストからなる。 レビュアーには正解パッチや非公開のテスト結果が意図的に与えられないため、このベンチマークは、答えからでは なくリポジトリの証拠に基づいて行われるレビューを測定する。
空のパッチを持つプルリクエストを除外した後、ベンチマークの候補プルリクエストは合計 1,384 件である。 ベンチマークは、生成に用いたモデルごとに 1 つずつ、計 3 つの分割で構成されており、各モデルは高品質、 中品質、低品質の候補分布を網羅するように選ばれている。すなわち、GLM-5（解決率 72.2%、n=500）、 Qwen3-Coder-30B-A3B（50.9%、n=462）、Qwen3-30B-A3B（27.5%）である。論文はさらに、事後的な難易度の基準を 用いて、1,384 のインスタンスを易・中・難の三分位に層別化している。
来歴
インスタンスは SWE-Bench Verified の 500 件の実世界のソフトウェアイシューに由来しており、 ベンチマークの指標が依拠する実行可能なテストスイートもそこから提供される。著者らはこれら同じ 500 件の イシューについて、OpenHands-SDK のエージェントスキャフォールドと能力の異なる 3 つのモデルを用いて候補 プルリクエストを生成し、上記の 3 つの品質分布を作り出した。候補の分布が AI の作成したプルリクエスト全般の 性質ではなく、これら 3 つの特定の生成モデルの性質であることは、このベンチマークが構築上抱える限界である。
利用
SWE-Review: エージェント型コードレビューによるイシュー解決のループの閉鎖 は、このベンチマークを用いてエージェント型レビューを、固定コンテキストで 単一ターンのレビューのベースラインと比較している。同論文によれば、エージェント型レビューは 3 つの生成モデルの 分割すべてにおいて、Decision Accuracy と Resolve Rate after Revision の両方で上回り、とくに局所的でない リポジトリ全体にわたる推論を必要とする、より難しい三分位でその差が最も大きかった。論文は、このベンチマークを 今後公開するとしている。