Proof-of-guardrail は、Jin らが AI エージェントにおける Proof-of-Guardrail と、そこから何を信頼すべきか（すべきでないか） で提案したシステムであり、リモートにデプロイされた AI エージェントの開発者が、ある応答が特定のオープンソースのガードレールの実行後に生成されたことを示す暗号学的な証明を生成できるようにするものである。ラッパープログラムが公開のガードレールとその設定をひとまとめにし、エージェントのすべての入力、出力、ツール呼び出しを仲介する。このラッパーは Trusted Execution Environment（TEE） にロードされて初期化時に測定され、開発者の非公開のエージェントはその後で秘密の入力としてラッパーに渡される。ユーザーの入力ごとに、ラッパーはガードレールで保護されたエージェントを実行し、エンクレーブの測定値と、入力および応答へのコミットメントとを併せて含むアテステーション文書を要求し、応答とその文書の両方をユーザーに返す。ユーザーは、オープンソースのラッパー、入力と応答、そして TEE プラットフォームの検証鍵を用いて、それをオフラインで検証できる。これによって成立する性質は意図的に狭いものである。示されるのは宣言されたガードレールが実行されたことであって、ガードレールが通したものが安全であることではない。
Usage
この用語は、特定の信頼のギャップへの対応を名指している。他者が運用するエージェント、たとえばメッセージングプラットフォーム上のボットとやり取りするユーザーには、運用者が謳う ガードレール が実際に適用されたかどうかを知る術がない。Proof-of-guardrail は、ユーザーが自ら実行するエージェントではなく、そうした状況を想定したものである。論文が専有的な知識として扱う開発者のエージェント実装を、ユーザーにも第三者の監査者にも一切開示せずに済むよう設計されており、また普遍的に信頼される監査者を必要としないよう設計されている。著者らは、そのような監査者が存在しない分散型やクロスプラットフォームのデプロイメントではこの点が重要だと論じている。アテステーションはユーザーの入力ごとに新たに生成され、著者らのデモンストレーションでは、ユーザーはチャットそのものを通じてそれを要求する。
When It Applies
このシステムは、ガードレールがオープンソースであることを前提としている。ユーザーは、そのコードの期待される測定値を自ら計算することでアテステーションを検証するからである。また、TEE プラットフォームのハードウェアとファームウェアが信頼できることも前提としている。著者らは、クラウドプロバイダーがコードを正しく測定し、TEE の秘密鍵を保護することを信頼すると述べており、デプロイメントにすでに使っているプロバイダーに信頼の拠り所を置くことで、追加の監査組織を信頼する必要がなくなると説明している。このシステムのコストは名目的なものではなく現実的なものである。著者らは、ガードレールの実行と応答生成に 25% から 38% のレイテンシのオーバーヘッド、アテステーション生成にさらに約 100ms、そしてインスタンスの時間あたりコストに 18.5 倍の増加を測定している。エンクレーブがガードレールのランタイム全体をメモリに保持しなければならないためである。
著者ら自身が 2 つの失敗モードを挙げている。ガードレールはオープンソースでなければならないため、悪意ある開発者はそれをジェイルブレイクしたうえで、なお有効な証明を提示できる。著者らの例は、正しくアテステーションを行いながら誤解を招く助言を与える金融ニュースのエージェントであり、著者ら自身の評価で使われたガードレールも測定可能な程度に不完全だった。これとは別に、測定されるラッパープログラムには、測定されていないエージェントがガードレールを迂回できるような脆弱性、たとえばエンクレーブ内で任意のコマンドを実行できるような脆弱性が一切あってはならない。緩和策としては、後から注入されるエージェントを実行不可能なプロンプト成果物に限定することが提示されている。これらの理由から著者らは、proof-of-guardrail を proof-of-safety として解釈したり宣伝したりすべきではなく、それと真の安全性との間には依然としてギャップがあると述べている。この提案は、確立された実践ではなく、エンドツーエンドの実装と実行時の測定を伴う単一の論文に依拠しており、著者らは、検証者がベストプラクティスとなるオープンソースのガードレールについての証明を求めるべきだと主張しつつ、何をベストプラクティスとするかの定義はコミュニティによる開かれたプロセスに委ねている。
Related Terms
AI エージェントにおける Proof-of-Guardrail と、そこから何を信頼すべきか（すべきでないか）、Trusted Execution Environment（TEE）、リモートアテステーション、ガードレール