この記事は、Codex Code ReviewがAGENTS.mdにあるリポジトリのカスタムルールを使って、繰り返し起こる問題を検出し、作成者に指摘の根拠となるガイダンスを示せるようになったことを発表している。出発点となる観察は、一部のレビューコメントが何度も戻ってくるということである——古い API コントラクトを維持すること、顧客データをログに出さないこと、別のサービスを壊すような名前変更を避けること——そして、そうしたコンテキストが一握りのレビュアーの頭の中にしかない場合、これらのチェックは見落とされやすい。すでに AGENTS.md を使ってコーディングタスクを導いているチームは、同じファイルを使ってレビューを導くことができる。
記事が挙げる動機は量である。コーディングエージェントはより大きく、より長期にわたる変更を担うようになっており、記事によれば OpenAI における週あたりの PR の量は第 4 四半期以降 2 倍以上に増え、多くの顧客でも同様の傾向が見られる。プルリクエストが増えれば、レビュアーが各変更の内容を把握しコンテキストを集めるための時間は減り、コードレビューがレビューのボトルネックになる、と記事は論じる——そして、日常的な整理に見えて既存のコントラクトに依存するクライアントを壊してしまうフィールド名の変更のように、差分だけからは見えない問題もある。
記事の具体例は Codex リポジトリそのものから取られている。その AGENTS.md には、Codex Cloud がすでに利用している実験的な app-server 通知の名前を挙げた破壊的変更に関するレビュールールがあり、それによって、コンパイルは通る 1 行の名前変更に対しても、名前を維持するか後方互換性のあるイベントを追加するよう作成者に求める指摘が出るようになっている。
要点
- リポジトリのルールは「インターフェース」として説明されている。
AGENTS.mdに置かれた簡潔でスコープの限定されたレビューガイダンスであり、Codex Code Review はそれを変更に適用して指摘の中で引用できるので、同じ説明をプルリクエストのたびに繰り返す必要がなくなる。 - ルールは場所によってスコープが決まる。リポジトリ全体のルールはルートに、サービス固有のルールは該当ディレクトリのネストされた
AGENTS.mdに置くことで、無関係な変更が必要のないコンテキストを引き込まないようにする。 - ルールはテストやリンターを置き換えるのではなく補完するものとして位置づけられている。決定論的なチェックはそれらのツールに任せ、リポジトリのルールはエンコードしにくい判断を捉える。手始めに適した対象として、互換性要件とデータの境界が挙げられている。
- OpenAI は、既知のルール違反と安全な反例を含む評価スイートにおいて、ルールで導かれたバリアントが必要なカスタム指摘の 98% を検出したのに対し、ベースラインの対照群では 58.3% だったと報告している。結果は、カバレッジ、抑制、通常のバグ検出能力の維持、実行可能性を軸に整理された。
- 記事は、テストと社内リポジトリの両方から、広範な指示はノイズを生みやすい一方、明示的な安全な道筋を備えた小さくスコープの限定されたルールセットは Codex が焦点を絞るのに役立ったと報告している。
- 記事が示す 4 つの書き方のルールは次のとおりである。重大で自明でない不変条件から始めること（ルールを削除してもレビューが変わらないなら、そのルールは入れない）、ルールをそれが統制するコードにスコープを限定すること、不変条件と安全な道筋を述べること、そして関数名ではなく結果を記述し、繰り返しノイズを生むルールは絞り込むか削除することで、ルールを長持ちさせ最新に保つこと。
- フォーマットやその他の機械的なチェックは CI に残すべきであり、リポジトリのルールは、そうでなければレビュアーが改めて問わなければならない問いのためのものである。
- ルールをテストするには、それをトリガーすべき変更を 1 つ、安全な反例を 1 つ、無関係な変更を 1 つ用意し、最初のものだけが指摘を生むことを確認するよう記事は提案している。
- Codex Code Review はあくまで追加のレビュアーとして説明されている。テスト、ブランチ保護、必須の承認が引き続き強制力のある仕組みを担う。
背景
この記事は OpenAI が自社プロダクトの機能を説明したものであり、評価の数値は独立した測定ではなく OpenAI の社内結果である。その位置づけは、この機能をエージェント駆動開発についてのより広い主張——コードの生成が速くなることで制約がレビューへと移る——に結びつけており、この主張はエージェント型コードレビューに関するこのウィキの他の文章とも共通している。