AACR-Bench は、合成的なケースではなく実際のプルリクエストから組み立てられたコードレビューのベンチマークである。
公表されている構成は、50 の人気オープンソースリポジトリ、200 件の実際のプルリクエスト、10 のプログラミング言語で
あり、アノテーション済みの正解 issue が 1,505 件含まれる。Hugging Face 上の Alibaba-Aone ネームスペースで
ホストされている。この wiki における記述はすべて Open Code Review の README に基づいて
おり、同 README はこのベンチマークを紹介・リンクし、それに対する自らの結果を報告している。
内容
ソースは規模を 2 つのレベルで示しており、レコードの構造については何も述べていない。50 のリポジトリから抽出された 200 件のプルリクエストと、それらにまたがる 1,505 件の個別にアノテーションされた issue である。これは、 プルリクエスト 1 件あたり単一の判定ではなく、複数の正解指摘があることを意味する。10 言語にわたることは述べられて いるが、その内訳は示されておらず、ソースはリポジトリ名を 1 つも挙げていない。
出自
アノテーションは 80 人以上のシニアエンジニアによって相互検証された — これが、正解がどのように確立されたかに
ついてのソースの表現である。200 件のプルリクエストが 50 のリポジトリからどのように選ばれたのか、アノテーター間の
不一致がどのように解決されたのか、アノテーション上何を欠陥とみなすのかについては、それ以上何も述べられていない。
ソースはベンチマークを誰が組み立てたのかも明記していない。Alibaba- で始まる Hugging Face のネームスペースに
置かれていることはホスティングの事実であって作者の表明ではなく、この wiki が保持するどのソースもこの問題に
決着をつけていない。
利用
この wiki が記録している唯一の利用例は、Open Code Review 自身によるものである。その README は、同じ基盤モデル上で 汎用エージェント — Claude Code の名が挙げられている — と比較して自らを評価したと報告しており、自らのツールの 適合率（precision）と F1 が大幅に高く、トークン消費はおよそ 9 分の 1、実時間も短いと述べている。再現率（recall） が低いことは、ノイズよりも適合率を優先する意図的なトレードオフとして示されている。README の本文にはこれらの 指標の数値は記載されておらず、数値があるはずの箇所には画像へのリンクが置かれている。そのため、この wiki が そこから記録しているのは、数値そのものではなく主張の方向性である。
ベンチマークの評価に用いられる 5 つの指標は、そこで名前が挙げられ説明されている。F1 は適合率と再現率の調和平均 であり、レビュー品質全体を表す最良の単一指標とされる。適合率は、報告された issue のうち実際の欠陥である割合。 再現率は、実際の欠陥のうち発見されたものの割合。レビュー 1 件あたりの平均時間は、CI パイプラインのレイテンシに 関わる。レビュー 1 件あたりの平均消費トークン数は、API コストを左右する。
この組み合わせから引き出されるあらゆる数値に常に付きまとう注意点は、報告されている唯一の結果が、測定対象の ツール自身によるものであり、しかもベンチマークを紹介するのと同じ文書の中で示されているということである。