AGrail は、Luo らが AGrail:効果的かつ適応的な安全性検出を備えた生涯型エージェントガードレール で提案した生涯型(lifelong)のガードレールフレームワークであり、LLM エージェントのアクションの実行を許可すべきかどうかを判断するために使う安全チェックの集合を生成し、反復的に洗練させる。同一の 2 つの LLM が異なる役割を担う。Analyzer はメモリモジュールから関連する安全チェックを取り出し、現在のエージェントのアクション、安全基準、そして人手で指定されたガード要求があればそれに基づいて、チェックを修正、統合、または追加する。続いて Executor が提案された各チェックを検証する。必要に応じて外部ツールを呼び出し、そうでなければ自身の推論に頼って検証し、冗長または誤っていると判断したチェックを破棄し、いずれかのチェックが安全でないという結果になればエージェントのアクションをブロックする。蓄積された安全チェックのメモリは各アクションの後に更新されるため、フレームワークのチェックは、あるタスクのアクションを多く処理するほど改善していく。これはテスト時適応(test-time adaptation、TTA)のプロセスであり、論文はこれを生涯にわたる自己適応を実現するものと位置づけている。すなわち、理想的なチェックの集合を直接観測することなく、エージェントのアクションの種類ごとにその理想的な集合へと収束していくということである。

適用される場面

AGrail は、既存の LLM エージェントと並べてオンラインで運用することを想定しており、エージェントの出力を事後に分析するのではなく、各アクションを実行前にチェックする。エージェントの種類を問わず適用できるデフォルトの汎用安全基準(情報の機密性、完全性、可用性の 3 カテゴリ)と、より狭いドメイン向けに人手で作成したタスク固有の安全基準の両方をサポートしている。また、推論だけでは不十分と判断された場合には、補助的な検出ツール(例:OS 環境チェッカー、権限チェッカー、HTML 選択肢チェッカー)を呼び出すこともできる。提案論文は、これをタスク固有のリスク(Web エージェント向けのアクセス制御ベンチマークである Mind2Web-SC、電子カルテ向けのアクセス制御ベンチマークである EICU-AC)と、システム的なリスク(論文独自の Safe-OS ベンチマークによる OS エージェントへのプロンプトインジェクション、システム妨害、環境攻撃、および AdvWeb と EIA による Web エージェントへのプロンプトインジェクション)に対して評価し、その性能が土台となる基盤モデルの推論能力に依存すると報告している。より強力なモデル(Claude-3.5-Sonnet)は、弱いモデル(GPT-4o-mini)よりも、安全チェックを学習する順序に対して頑健である。著者らは 2 つの限界を挙げている。フレームワークが自身の推論を専用に訓練されたガードレールモデルではなく既製の LLM に頼っていること、そして補助的な検出ツールが、LLM エージェントのセキュリティ向けツールが現状では乏しいことに制約されていることである。

関連用語

AGrail:効果的かつ適応的な安全性検出を備えた生涯型エージェントガードレール、Safe-OS、ガードレール