Plan–Execute–Verify ループ（PEV）は、エージェントハーネスとしてのコード：実行可能・検証可能・ステートフルなエージェントシステムに向けて が、モデルの意図を、範囲が限定され、観測可能で、修正可能な状態遷移へと変換するために提案している制御ループである。その 3 つのフェーズは次のとおりである。ハーネスは、意図した変更をその検証基準とともに外部化し、その変更をサンドボックス化され権限管理された環境の中で実行し、そのうえで結果として生じた状態を決定論的なセンサーと人間によるレビューのゲートを通じて検証する。この枠組みの狙いは統合にある。計画、実行、デバッグ、検証、エスカレーションを別々の段階としてではなく、単一のハーネスレベルの制御プロセスの一部として扱い、特にフィードバックに導かれるデバッグを、事後的な修正ステップではなく、実行可能なプログラム状態に対する制御として捉え直す。
用法
契約形成としての計画。 この枠組みにおいて、計画は要求を実装ステップに分解する以上のことを行う。関連するファイル、期待される不変条件、検証用のコマンド、ロールバックポイント、リスクのある操作を特定するため、計画は観測されない推論の痕跡ではなく、ハーネスのアーティファクトになる。リポジトリレベルのタスクでは、こうしたアーティファクトが、どのコンポーネントを読んでよいか、どのファイルを編集してよいか、完了前にどの基準を満たさなければならないかを指定することで、その後の行動空間を制約する。
サンドボックス化された実行と権限管理された状態遷移。 実行フェーズは、計画を、隔離されたファイルシステム、依存関係の状態、シェル、言語ランタイム、ブラウザまたは IDE のインターフェース、そしてリソースの境界の中で、範囲が限定され観測可能な遷移として実現する。このサーベイは、サンドボックスが再現性も高めると論じている。ハーネスが同じパッチ、コマンド、シード、依存関係のロックファイル、テスト構成を同等の条件下で再実行できるからであり、これがなければ検証シグナルの解釈は難しくなり、失敗がプログラムの欠陥ではなく環境のずれを反映している可能性も出てくる。実行はさらに、読み取り専用の層、サンドボックス内での編集の層、フルアクセスの層にわたって権限管理され、著者らはフルアクセスの層の操作にはヒューマン・イン・ザ・ループのゲートを必須とすべきだと論じている。
決定論的なセンサーによる検証。 検証フェーズは、段階的に揃えられたシグナルを用いて、新しい状態を明示的な制約と照らし合わせる。完全な実行の前に使う低コストのセンサーとしてのコンパイルと静的解析のフィードバック、具体的な実行パスに沿ってのみ表面化するランタイムシグナル、そして観測された振る舞いが意図された仕様を満たしているかを評価するテストベースのフィードバックである。このサーベイが自然言語による批評よりもこれらを優先する根拠は、これらが決定論的であるか、少なくとも制御シグナルとして機能するのに十分なほど再現可能だという点にある。そして、失敗の証拠が乏しい場面では人間やエージェントによる批評も依然として有用だが、それはセンサーの出力を置き換えるのではなく解釈するべきだとしている。
検証は次に何が起こるかの証拠も提供する。このサーベイが修復、振り返り、終了を独立した段階ではなく Verify フェーズの帰結として扱うのはそのためである。同じセンサーの証拠が、失敗を診断するか、欠けているコンテキストを取得するか、局所的なパッチを再生成するか、タスクを別のエージェントに回すか、その分岐を放棄するかを決める。著者らは、終了はモデルの確信度ではなく検証によって制御されるべきだと明言している。ループが止まるのは、必要なチェックが通ったとき、それ以上試みても状態が改善しなくなったとき、リスクの層が変わったとき、あるいは人間によるレビューが必要になったときである。
このサーベイは、この役割におけるハーネスをサイバネティックな調速機として説明している。これは、リンター、パーサー、コンパイラ、型チェッカー、テスト、静的解析ツール、ファザー、ランタイムモニター、CI パイプラインといった決定論的なセンサーを通じてエージェントの行動の効果を観測し、エラーメッセージを単にモデルへ転送するのではなく、その後の状態遷移を調整する制御層である。
適用される場面
PEV は、エージェントが誰かにとって重要な状態、つまりリポジトリや稼働中のシステムを変更し、かつ遷移が許容できるものだったかを判別できるセンサーが存在する場面に適用される。このサーベイ自身の枠組みはこの依存関係を明示している。振り返りは実行可能な証拠に根ざしている場合にのみ信頼できるため、このループは根拠とするに値する証拠があることを前提とする。
その失敗モードは弱いオラクルである。このサーベイは、ハーネスは実行可能なフィードバックを持っているからこそ過信に陥りうると警告している。ユニットテストは不完全かもしれず、静的解析ツールは過大近似するかもしれず、GUI チェッカーは許容できない中間操作を見逃すかもしれず、テストが通ったことは仕様のすべてではない。著者らは、検証器が弱い場合、自己修復型や自己進化型のハーネスは誤ったシグナルに対して最適化することを学習してしまうと論じている。
PEV は、単一のシステムの設計や測定された結果としてではなく、既存の一連の研究をこのサーベイ自身が統合したものとして提示されている。著者らは、この枠組みが静的解析、ランタイムエラー、テスト、批評、自己省察、人間によるレビューを 1 つの制御プロセスの構成要素として統合するものだと述べており、信頼性はより良い修復プロンプトからではなく、統制された状態遷移から生まれるというのが彼らの示す結論である。