生成・レビュー・修正ループは、SWE-Review: エージェント型コードレビューによるイシュー解決のループの閉鎖 が、AI によるイシュー解決のオープンループ的な性格と同論文が呼ぶものを閉じるために提案する反復である。コーディングエージェントが候補となるプルリクエストを生成する。レビュアーエージェントは、リポジトリを手がかりにしつつも正解パッチや隠されたテスト結果は持たないまま作業し、承認（approve）か変更要求（request-changes）かの二値の判定を、具体的な欠陥を指摘し実行可能な修正を提案する診断とともに返す。変更要求とされたパッチはそのフィードバックとともに元の生成者へ戻されて修正され、承認されたパッチはそのまま維持される。レビューは、ループの末尾に付け足される論評のステップではなく、ループの要である。
用法
このループこそが、この構成を一回限りの生成と区別するものである。一回限りの生成では、候補となるプルリクエストが提案されるだけで、イシューが実際に解決されたかどうかを判定するものは何もない。ループはまた、Resolve Rate after Revision という指標の定義も与える。この指標は、レビューのフィードバックを条件として修正をちょうど 1 回行った後に達成される解決率によって、そのレビューを運用的に評価するものである。
報告されている改善は、ループを一度だけ実行するのではなく反復することから生じる。SWE-bench Verified において、論文は解決率が Qwen3-30B-A3B では 27.5% から 56.9% に、Qwen3-Coder-30B-A3B では 50.9% から 68.8% に、GLM-5 では 72.2% から 75.4% に上昇したと報告している。弱い生成者では強い生成者よりもはるかに大きな改善が見られるが、これは、ループの役割がすでに機能しているパッチを改善することではなく失敗を捉えて修復することである場合に予想される形である。
同じ構造は単一のモデルに畳み込むこともできる。論文は、イシュー解決とレビューの両方の軌跡で 1 つのエージェントを訓練し、別々のエージェントのパイプラインではなく、統合された生成・レビュー・修正エージェントを得たと報告している。
適用される場面
このループは、いくつかのものがすでに整っていることを前提としており、それらは付随的なものではない。まず、実行可能な検証ハーネス、すなわち解決状況を隠されたテストで確認する、実在のイシューに基づいたものが必要である。判定と診断の両方が、パッチが本当に機能するかどうかに照らして評価されるからである。次に、差分を読むだけでなくリポジトリの中で行動できるレビュアーが必要である。論文自身の比較では、3 つの生成者の分割すべてにおいて、エージェント型のレビューが単一ターンの固定コンテキストによるレビューを上回っており、その差は非局所的なリポジトリ推論を要するより難しいタスクで最も大きかった。そして、書かれたフィードバックに基づいて行動する生成者へと戻る修正経路が必要である。
論文が特に取り上げる失敗モードは、正しい判定に誤った診断が付随するものである。レビュアーは、イシューを解決しないパッチに対して変更要求を出しながら、誤った欠陥を指摘することがある。そのため診断の品質は判定の正確さとは別に監査される。意味的には正解パッチと照らし合わせて、機能的にはそのテキストが実際に別のエージェントの修正に役立つかどうかによってである。診断がどれほど重要かは、この機能的な確認に表れている。教師モデルが正しく変更要求を出した 100 件のサンプルで実施されたこの確認では、修正後の解決率は、レビューなしで 3.0%、判定のみで 8.0%、教師モデルの完全なレビューで 21.0%、オラクルのレビューで 32.0% であった。使える診断を伴わない判定は、ループが提供し得るもののごく一部しか取り戻せず、優れた実際の診断でさえオラクルの診断には遠く及ばない。これらは意図的に難しく切り出したサンプルでの数値であり、上記の主要な解決率とは比較できない。
論文が判定の誤りを数えている箇所では、誤りは一様ではなく、生成者の品質によって形が変わることが示されている。3 つの分割全体で、Claude Opus 4.6 は 272 件の誤りを犯した。内訳は誤った承認が 167 件、誤った却下が 105 件である。しかし、最も強い生成者の分割では誤りの 83% が誤った承認であった一方、最も弱い生成者の分割では誤った却下がわずかに多く、57% を占めた。著者らはこれを、レビュアーの能力が最も重要になるのは最先端においてであることを示すものと解釈している。生成者が向上するにつれて、レビューをすり抜けるパッチはますます微妙なものになるからである。
どの程度確立したものかについて言えば、これは 1 本のプレプリントによる枠組みと、1 つのベンチマークにおける、3 つの特定のモデルの候補パッチを用いた 1 組の測定結果である。根底にある考え方、すなわち生成だけでは開いたままのループをレビューが閉じるという考え方は、著者らによってコードレビューが常に果たしてきた役割の自然な解釈として提示されているが、この名称のループとこれらの数値は、その単一の研究に依拠している。
関連用語
エージェント型コードレビュー、クローズドループ AI レビュー、ソフトウェアイシュー解決、検証ループ、コードレビューエージェント