LlamaFirewall は、プロンプトインジェクション、エージェントのミスアラインメント、安全でないコードなど、AI エージェントに関連するセキュリティリスクに対する最後の防御層として機能するよう設計された、セキュリティに特化したオープンソースのガードレールフレームワークである。LlamaFirewall：安全な AI エージェントを構築するためのオープンソースのガードレールシステム で紹介されており、同論文はこれが Meta で本番運用されていると述べ、他者が利用・拡張できるようオープンソースソフトウェアとして公開している。コードは Meta の PurpleLlama リポジトリ https://github.com/meta-llama/PurpleLlama/tree/main/LlamaFirewall で公開されている。
機能
LlamaFirewall は複数のスキャナーを統一的なポリシーエンジンにまとめており、開発者はその中でカスタムパイプラインを構築し、条件付きの是正戦略を定義し、新しい検出器を組み込むことができる。同梱されているガードレールは 3 つである。
- PromptGuard 2 は DeBERTa モデルをベースにした軽量な分類器で、ユーザーのプロンプトや信頼できないデータに含まれる、指示の上書きやトークンインジェクションといった明示的な ジェイルブレイク の手法を検出する。mDeBERTa-base をベースとする 8,600 万パラメータ版と、より低レイテンシの 2,200 万パラメータ版があり、CPU または GPU 上でローカルに実行できる。
- AlignmentCheck は実験的な監査器で、高性能な LLM と few-shot プロンプトを用いて、エージェントが選択したアクションとそれまでの推論をユーザーの元々の目標と比較し、間接プロンプトインジェクション やその他の目標の乗っ取りを示唆するアクションにフラグを立てる。
- CodeShield は LLM が生成したコードのためのオンライン静的解析エンジンで、Semgrep と正規表現ベースのルールをサポートし、高速なパターンマッチングの層を用い、そこでフラグが立った入力はより深い解析へとエスカレーションする。50 を超える CWE（Common Weakness Enumeration）をカバーする。以前は Llama 3 のローンチの一環としてリリースされていた。
このフレームワークには、正規表現または LLM プロンプトを書ける開発者なら誰でもエージェントのガードレールを更新できる、カスタマイズ可能なスキャナーも含まれている。論文のシナリオでは、PromptGuard が注入された Web コンテンツをエージェントのコンテキストに入る前に破棄し、AlignmentCheck がエージェントの振る舞いがユーザーのタスクから逸脱したときに実行を停止し、CodeShield が安全でない SQL クエリを含むパッチを、エージェントが安全なパターンを採用するまで拒否する。
採用とエコシステム
論文は LlamaFirewall を Meta で本番運用されているものとして説明し、従来のセキュリティにおいて Snort、Zeek、Sigma が使われているのと同じように、ポリシーや検出器を共有するための協働の基盤として位置づけている。論文はこのフレームワークを NVIDIA NeMo Guardrails、Guardrails AI、Invariant Labs のフレームワークと比較し、AgentDojo で評価している。著者らは、マルチモーダルエージェントへの拡張、AlignmentCheck のレイテンシ削減、そして悪意あるコードの実行や安全でないツール利用といった振る舞いへの脅威カバレッジの拡大を計画している。これは、エージェントのための ガードレール というより広い実践の実装の 1 つである。