検証のはしご（verification ladder）とは、ループ仕様 が作業の完了をどれだけ厳密にチェックしているかを分類するための 5 段階の尺度である。コーディングエージェントの手取り足取りをやめよ：逐一のプロンプトに代わるループのエンジニアリング において、検証可能な目標と判断に委ねられる目標という、より単純な二分法を精緻化するものとして提案された。レベル 1 は決定的なチェックで、アサーション、終了コード、ゴールデン出力などである。レベル 2 はテキストに対するルールや制約で、リンター、スキーマ、ポリシーなどである。レベル 3 は遅れて得られる現場の真実で、テスト、デプロイ、実際の顧客の反応などであり、真実ではあるが時間がかかる。レベル 4 は判定者としてのモデルで、ルーブリックに基づいて採点するが、それは現場の真実ではなくモデルの意見にすぎない。レベル 5 は人間によるチェックポイントで、論文はこれを自動化された検証ではなく監督と呼んでいる。レベル 1 と 2 は、それ自体で即座に実行されるチェックからなる自律ゾーンを構成し、レベル 1 から 3 は客観ゾーンを構成する。レベル 4 と 5 は、モデルまたは人間がチェックの代わりを務める支援フローにあたる。
用法
論文は、このはしごの根底にあるメッセージを誠実さの規律として述べている。レベル 4 をレベル 1 であるかのように装ってはならない、というものである。ループの自律性は、その検証器が本当に位置しているレベルの分しかない。レベル 4 の判定者が避けられない場合は、同じエージェントが自らの出力を承認するのではなく、別のモデルに判定させるべきだとしている。これがメーカー・チェッカーの分離である。論文は「レベル 4 をレベル 1 であるかのように装うこと」をアンチパターンの一つに挙げ、モデルによる判定者のバイアスやプロンプトへの敏感さについての LLM-as-a-Judge のサーベイを引用している。
論文はこのはしごを記述のためにも用いている。公開されている Loop Library カタログに収められた 50 個のループそれぞれについて、主に用いられている検証レベルを分類したところ、半数がレベル 1 で、5 分の 1 がレベル 2 で検証しており、70% が自律ゾーンに、76% が客観ゾーンに収まると報告している。22% はレベル 4 の判定者に頼っており、人間によるチェックポイントを主要な検証手段としているループは 1 つだけだった。論文はこの結果を、実務者が客観的なチェックを好み、モデルによる判定者は十分に堅牢化したうえで例外的に使うものとして扱っていることを、記述的に裏付けるものと解釈している。