SWE-Review-Traj は、SWE-Review: エージェント型コードレビューによるイシュー解決のループの閉鎖 で SWE-Review-Bench とともに公開された 学習用コーパスである。ベンチマークがレビュアーを測定するものであるのに対し、このデータセットはレビュアーを 生み出すためのものである。エージェント型のレビュアーが判定に至るまでに実際に何を行ったかを記録しており、 より小規模なオープンモデルをその振る舞いでファインチューニングできるようにしている。著者らはこれを、 エージェント型コードレビューの高品質な軌跡が乏しいとされるオープンソースの研究コミュニティにおける ギャップを埋めるものとして提示している。
内容
1 件のレコードは 1 つの完全なレビューの軌跡であり、レビュアーによるリポジトリの探索、収集した証拠、 到達した二値の判断、そして書かれた診断からなる。公開されたデフォルトのセットには 8,914 の軌跡が含まれる。 より強くフィルタリングされた 6,789 の軌跡からなる別バージョンも存在するが、論文によれば、それで学習しても デフォルトのセットに対する明確な利点は見られなかった。
来歴
イシューは SWE-rebench から取得され、検証済みの解答を持つインスタンスに絞り込まれた。さらにリークを防ぐため、 SWE-Review-Bench に登場するリポジトリのインスタンスはすべて除外され、約 6,000 件のイシューが残った。 候補プルリクエストはベンチマークの構築に用いたのと同じ 3 つのモデルで生成され、空のパッチや過大なパッチ （50KB 超。著者らによれば、これは通常、的を絞った修正ではなく大規模なファイル削除を示す）を取り除いた後、 14,156 件の候補が残った。
次に、思考を有効化したオープンウェイトの GLM-5 を OpenHands-SDK のスキャフォールドのもとで教師として デプロイし、軌跡が収集された。著者らによれば、クローズドなモデルではなくこれを選んだのは、トレースを 完全かつ透明なものにするためである。プロンプトは、レビューが候補の提案する修正に引きずられないように、 プルリクエストを調べる前にまずイシューを理解し根本原因を突き止めるよう教師に求めている。候補ごとに 1 回のレビューを行った結果、14,156 の生の軌跡が得られ、判断の正しさによるフィルタリング（解決している パッチを正しく承認した軌跡、または解決していないパッチに対して正しく変更を要求した軌跡のみを残す）に よって、公開された 8,914 件に絞り込まれた。
著者らは診断の品質を前提とせず、監査を行っている。2 つのプロプライエタリなジャッジが、事実の正確さ、 修正の正しさ、根拠づけを 1〜5 のスケールで評価したところ、平均は 3.0 をわずかに上回り、一致度は相当程度 高く（Cohen の κ = 0.72）、2 点以上食い違った評価の組はわずか 3.3% だった。著者らはこれを、診断が意味の ある妥当な情報を含んでいることの証拠と解釈しているが、診断が正しいとまでは明示的に主張していない。
利用
SWE-Review: エージェント型コードレビューによるイシュー解決のループの閉鎖 によれば、このコーパスで 8B モデルを教師ありファインチューニングすると、 完了率は約 4% から 71〜84% に、判断の正解率はほぼランダムな水準から 67〜72% に向上した。また、これらの 軌跡をイシュー解決の学習データと混ぜることで、直接の解決率が最大 5.6 ポイント向上するとともに、統合された 生成・レビュー・修正型のエージェントが得られ、最終的な解決率は最大 10.6 ポイント向上したと報告されている。