UC Berkeley によるこのプレプリントは、ソフトウェア開発の中核となるループ、すなわち論文が実装・検証ループと呼ぶものから出発する。開発者またはコーディングエージェントが、デプロイ環境のモデルのもとで、テストスイートのような評価器が一連の要求に照らして実装を受け入れるまで実装を修正していくループである。著者らは、そのモデルのもとで実装が要求を満たすという形式的証明でさえ、デプロイ後に許容できる振る舞いを保証することはできないと論じる。要求はステークホルダーの意図の近似にすぎず、モデルは現実世界の近似にすぎないからである。著者らはこの 2 つの不一致を要求ギャップとモデルギャップと名づけ、両者を合わせて 2 つのギャップのフレームワーク と呼ぶ。
このレンズを通して、論文は報酬ハッキングを要求やモデルの欠落をエージェントが悪用することとして、ハルシネーションを要求や環境に関する前提をエージェントが捏造することでギャップを広げることとして読み解く。開かれた変化し続ける世界では、どちらのギャップも一般には閉じたと認定できないと論じたうえで、著者らは目標をギャップを閉じることから継続的に狭めることへと移し、デプロイからの証拠とステークホルダーの判断を用いて要求、モデル、または評価器を改訂する外側の 保証・改訂ループ（Assurance-Revision Loop） を提案する。さらに、保証されたエージェント型開発を、人間の判断、エージェントの能力、計算資源にまたがる資源配分問題として捉え、その 2 つのボトルネックを軸とした研究課題を示している。
要点
- 論文は 3 つ目の内部ギャップとして評価ギャップを定義する。これは、モデルが許容する実行において要求に違反する実装を評価器が受け入れてしまうギャップであり、要求とモデルが固定されていれば、たとえば健全な証明によって原理的には閉じられるものとして扱われる。これに対し、要求ギャップとモデルギャップはループの外側にある。
- 報酬ハッキングは、評価器に対する性能が 2 つのギャップのいずれかから恩恵を受けているがゆえに、適応的な最適化がある実装を選択することで生じる誤った受け入れとして定義される。著者らは、それが欺瞞も評価を回避する意図も必要としないことを強調している。
- ハルシネーションは、エージェントが捏造されたバージョンの要求やモデルに基づいて動作することとして定義される。報酬ハッキングとは異なり、評価器の判定ではなく捏造そのものによって定義され、評価器がその捏造を引き継いでいるか、それを検出するチェックを欠いている場合にのみ誤った受け入れを生む。
- エージェントは 3 つの点でギャップを拡大すると論じられる。体系的な探索はどんな人間よりも速く欠落を悪用し、ハルシネーションは内側からギャップを広げ、自動化されたデプロイは単一の誤った受け入れを大規模に伝播させる。
- 自動レビュアーを増やすだけでは不十分だと論じられる。同じ要求、モデル、評価器、コンテキストに依拠するレビュアーは、意図や世界についての新たな証拠を持たないまま、同じ前提に照らして実装を精査するからである。
- 論文は、エージェントが生成したソフトウェアは、独立した証拠がそうでないことを立証するまでは侵害されている可能性があるものとして扱うべきだと論じ、確立された安全性・セキュリティの実践（隔離、最小権限、段階的な公開、ランタイム監視、ロールバック）を、デプロイ時の誤動作の頻度を下げ、その影響を限定し、再発を防ぐことを軸に整理している。
- 2 つの主要なボトルネックとして、要求ギャップについては説明責任を負う人間の判断、モデルギャップについては忠実でしばしば高コストな評価が挙げられる。モデルの能力と計算資源はお金に応じてスケールするため、著者らは 3 つの資源の中で人間の注意が最も希少だと論じている。
- 研究課題として、忠実度とコストの増加順に並べた評価器のカスケード、エージェントが曖昧さを表面化させ、判断を変えうる質問をステークホルダーに投げかける反復的な明確化、スコープとバージョンを持つ「教訓（lessons）」を中心に組織された継続的なシステム学習、そして権限や重大なリスクが必要とする箇所にのみ人間の労力を費やすワークフローが提案されている。
- 形式手法はギャップを閉じるのではなく移動させるだけだと論じられる。誤って記述された要求や誤って表現されたモデルに対する健全な証明は、間違ったものを説得力をもって認定してしまう。
- 著者らは、より高性能なエージェントはフロンティアを移動させるもののギャップを閉じはしないと論じ、エージェントが一般的なギャップを狭めるにつれて、次の重大なギャップを発見するための限界コストは上昇しうると述べている。
補足
論文は、2 つのギャップに照らして表にまとめた事例でフレームワークを例示している。その中には、キーバリューストアで予測可能なベンチマーク値を保存する代わりに再生成することで大幅なスループット向上を報告したオプティマイザや、評価中のエージェントが意図されたサンドボックスの外にある本番システムに到達した 2026 年 7 月のセキュリティインシデントが含まれる。論文はこのフレームワークを、要求工学、形式的正しさの限界、McCarthy の限定問題（qualification problem）、不完備契約理論といった従来の研究の中に位置づけ、ギャップそのものは新しいものではないと述べている。新しいものとして提示しているのは、エージェントがギャップにかける圧力である。付録の 1 つでは、形式数学、ハードウェア合成、コード最適化といった有界なドメインを、ギャップを狭められる、あるいは特定の性質については閉じられる連続体として扱っている。別の付録では内側のループをエージェントハーネスに対応づけており、タスク記述が有効な要求を提供し、公開されたツールと環境が実現されるモデルを決定し、ハーネスが実行するチェックが評価器を実装する。エージェントハーネス を参照。