本論文は、実際のソフトウェアのイシューに対してコーディングエージェントが現在どのように使われているかについての観察から出発する。エージェントがプルリクエストを提案し、それでプロセスが終わる、というものである。著者らはこれをオープンループと呼ぶ。候補となる PR ができた時点で、イシューが実際に解決されたかどうかを判断する信頼できる仕組みも、解決されていない場合に何を変えるべきかを診断する仕組みも存在しない。著者らの提案は、コードレビューこそがこのループを閉じる自然な仕組みだというものである。レビュアーは、ループが必要とする 2 つの出力、すなわち二値の判定と、何が誤っていてどう直すべきかの説明を、まさに生み出すからである。
本論文は エージェント型コードレビュー を、リポジトリに根ざしたタスクとして定式化する。レビューのインスタンスは、該当するコミット時点のリポジトリのチェックアウト、自然言語で書かれたイシュー、そして差分・タイトル・本文を伴う候補 PR をレビュアーに与えるが、正解パッチ（golden patch）と隠されたテストの結果は与えない。レビュアーは、ファイルの閲覧、コード検索、依存関係の調査、コマンドの実行を行ったうえで、判定と、変更を要求する場合には具体的な欠陥とコード上の位置を挙げた診断を含むレポートを提出する。3 つの指標が、参照コメントとの比較ではなく、イシュー解決における役割によってこのレポートを評価する。Completion Rate（解析可能なレビューがそもそも生成されたかどうか）、Decision Accuracy（承認／変更要求の判定を、パッチの真の解決状態と照らしたもの。解析できないレビューは 0.5 と採点される）、そして Resolve Rate after Revision（変更要求を受けたパッチを元の生成器に戻して 1 回修正させた後の最終的な解決率）である。
この定式化を中心に、本論文は 2 つの成果物を構築・公開している。評価用の SWE-Review-Bench と、訓練用の SWE-Review-Traj である。そして、エージェント型レビューを 3 つの役割で検討している。候補 PR のレビュアーとして、オープンなレビュアーモデルとイシュー解決モデルを訓練するための教師信号として、そしてテスト時スケーリングのための検証器としてである。
主なポイント
- 本論文の中心的な主張は、エージェント型コードレビューが、事後にコメントを付けるツールではなく、AI コーディングエージェントを一発勝負の PR 生成からクローズドループのイシュー解決へと移行させる実用的な仕組みだというものである。
- SWE-bench Verified で 生成・レビュー・修正ループ を反復すると、解決率は Qwen3-30B-A3B で 27.5% から 56.9% に、Qwen3-Coder-30B-A3B で 50.9% から 68.8% に、GLM-5 で 72.2% から 75.4% に上昇した。最大の向上は最も弱い生成器で得られた。
- エージェント型レビューは、3 つの PR 生成器の分割すべてにおいて、Decision Accuracy と Resolve Rate after Revision の両方で、固定コンテキストのシングルターンのレビューのベースラインを上回った。差が最も大きかったのは、著者らがより難しく、局所的でないリポジトリ全体にわたる推論を要すると分類したタスクだった。
- 本論文のレビュー軌跡で 8B モデルを教師ありファインチューニングすると、完了率は約 4% から 71〜84% に、判定精度はほぼランダムな水準から 67〜72% に上昇した。
- レビュー軌跡をイシュー解決の訓練データと混ぜると、直接の解決率は最大 5.6 ポイント改善し、生成・レビュー・修正を一体で行うエージェントは最終的な解決率で最大 10.6 ポイントの向上を示した。本論文はこれを、レビューによる教師信号がレビュータスクそのものを超えて転移する証拠としている。
- テスト時には、これらの軌跡で訓練したレビュアーが、専用の検証器を有効性と効率の両面で上回り、レビューに導かれた反復的な修正によって、4 回の修正ラウンドで解決率は 22.9% から 38.4% に上昇した。
- レビューのどの部分が重要かを調べたアブレーションでは、修正後の解決率は、レビューなしで 3.0%、判定のみで 8.0%、教師モデルの完全なレビューで 21.0%、オラクルのレビューで 32.0% と報告されている。著者らはこれを、向上をもたらしているのは承認／却下の判定だけでなく診断であることの証拠としている。
補足
著者らは、ベンチマーク、レビュー軌跡、レビュアーモデルを公開するとしている。ベンチマークの候補 PR と、訓練用の軌跡の元になった PR は、同じ 3 つのモデル（GLM-5、Qwen3-Coder-30B-A3B、Qwen3-30B-A3B）から得られたものである。したがって、レビュアーが評価される品質の分布は、AI が作成したプルリクエスト全般の性質ではなく、これら特定の生成器の性質である。一方、軌跡そのものはこれらのモデルの成果ではない。各軌跡は、単一の教師モデル ── OpenHands-SDK のスキャフォールドのもとで思考（thinking）を有効にしたオープンウェイトの GLM-5 ── による候補 PR の 1 回のレビューであり、トレースが完全かつ透明になるよう、クローズドなモデルではなくこのモデルが選ばれた。
本論文は診断の品質について独自の検証を報告しており、その限界についても明示的に述べている。事実の正確さ、修正の正しさ、リポジトリ上の根拠への立脚について診断を 1〜5 の尺度で採点した 2 つのプロプライエタリなジャッジは、3.0 をわずかに上回る平均スコアを返した。著者らはこれを高品質とは読まず、「完璧ではないものの、意味のある有効な情報」と読んでいる。ジャッジ間の一致度は十分に高かった（Cohen の κ = 0.72）。両方のジャッジが 3 以上を付けることを要求するより厳しいフィルタは、軌跡の集合を 8,914 件から 6,789 件に減らしたが、著者らによれば、判定の正しさによるフィルタリングのみの場合と比べて明確な利点は得られなかった。