この記事は、Anthropic の Safeguards チームが Claude の周囲にどのように保護策を構築しているかを説明している。保護策は単一の制御点としてではなく、モデルのライフサイクル全体にまたがるレイヤーとして構成されている。利用ポリシーの策定、モデルの学習への関与、リリース前の有害な出力のテスト、デプロイ後のリアルタイムでのポリシーの執行、そしてその後の新たな悪用パターンの監視である。チームは、ポリシー、執行、プロダクト、データサイエンス、脅威インテリジェンス、エンジニアリングを組み合わせたものとして説明されている。
一般消費者向けの安全性よりもエージェント型システムに関心のある読者にとって、記事が直接的に寄与するのはランタイムの執行についての説明である。これは、プロバイダー自身のサービング経路の内側に置かれた ガードレール のレイヤーであり、分類器と呼ばれる、プロンプトを与えられた、あるいはファインチューニングされた Claude のモデルとして実装され、実行中のリクエストのシステムプロンプトを変更したり、応答を完全に止めたりすることができる。記事はまた、コンピュータ操作（Computer Use） についてのローンチ前の具体的な発見を記録しており、それはこのツールとともにリリースされたものを変えた。
記事の残りの多くは、このウィキの主題の外にある被害領域（子どもの安全、選挙の公正性、CBRNE のリスク評価、バイアスの評価）を扱っており、ここでは、ランタイムの仕組みが置かれている構造を示すのに必要な範囲でのみ要約している。
要点
- Safeguards は 5 つのレイヤーにわたって運用されていると説明されている。ポリシーの策定、モデルの学習、テストと評価、リアルタイムの検知と執行、そして継続的な監視と調査である。
- ポリシーの策定は、名前の付いた 2 つの仕組みに導かれている。1 つは Unified Harm Framework で、身体的、心理的、経済的、社会的、そして個人の自律性への影響を考慮する。これは正式な等級付けの仕組みではなく、可能性と規模を比較検討するための構造化されたレンズとして説明されている。もう 1 つは Policy Vulnerability Testing で、外部の領域専門家が、困難なプロンプトのもとでのモデルの出力に照らしてポリシーのストレステストを行う。
- リリース前の評価は、Usage Policy に照らした安全性評価、政府や業界のパートナーとともに実施する高リスク領域のリスク評価、そしてバイアス評価に分かれている。結果は、各モデルファミリーとともに公開されるシステムカードで報告される。
- 安全性評価は、明白な違反、曖昧な文脈、長い複数ターンの会話を対象とし、Anthropic 自身のモデルを使って Claude の応答を採点し、追加の精度確認として人間のレビューを行うものとして説明されている。
- コンピュータ操作ツールのローンチ前の評価で、このツールがスパムの生成と配布を助長しうることが判明した。記事によれば、これを受けてローンチ前に新たな検知手法と執行の仕組み（悪用の兆候を示すアカウントでツールを無効化する選択肢を含む）と、プロンプトインジェクションからユーザーを守る新たな保護策が導入された。
- ランタイムの検知は分類器の上に構築されている。これは、特定のポリシー違反をリアルタイムで検知する、プロンプトを与えられた、あるいは特別にファインチューニングされた Claude のモデルであり、複数を同時にデプロイでき、メインの会話が通常どおり進む間、それぞれが異なる種類の被害を監視する。
- 2 つの執行措置が説明されている。応答のステアリングは、Claude がプロンプトをどう解釈し応答するかをリアルタイムで調整するものである。記事の例は、分類器がスパムやマルウェアを生成しようとする明らかな試みを検知した際に、システムプロンプトに指示を自動的に追加するというものであり、ごく限られたケースでは Claude の応答を完全に止めることもできる。アカウントの執行は、警告と、深刻な場合にはアカウントの停止を含む。
- エンジニアリング上の制約が明示されている。分類器は、計算のオーバーヘッドと無害なコンテンツへの執行の両方を抑えながら、数兆の入出力トークンを処理しなければならない。
- 継続的な監視には階層的な要約が使われる。個々のやり取りを要約に凝縮し、それらを分析してアカウント単位の懸念を特定するもので、記事によれば、自動化された影響工作のように、集約して初めて違反と見える振る舞いを見つけるのに役立つ。
- 脅威インテリジェンスの作業は、アカウントの活動の異常な急増のような悪用の指標を典型的な利用パターンと比較し、外部の脅威データを内部のシステムと照合し、悪意ある行為者が活動するチャネルを監視するものとして説明されている。発見は公開の脅威インテリジェンスレポートで公表される。
- 記事によれば、これらの防御をテストするためのバグバウンティプログラムが運営されており、AI の利用を守ることは単一の組織だけではできない仕事だと位置づけている。
背景
これは Anthropic による自社の内部の実践の説明であり、研究報告ではなく製品のコミュニケーションとして公開されたものである。いずれの仕組みについても有効性の数値は示されていない。分類器の適合率や再現率、無害なコンテンツに対する偽陽性率、各レイヤーがどれだけの悪用を捕捉しているかの指標はない。したがって、記事が示しているのはシステムの形と各仕組みの存在であり、それらがどれだけうまく機能しているかではない。
記事の 2 つの詳細は、一般消費者向けの安全性を超えた重みを持つ。分類器と応答ステアリングの構成は、プロバイダーのサービング経路の内側で動作するガードレールのレイヤーであり、これはガードレールについての他の説明が挙げる組織、アプリケーション、フレームワーク、ツールキットの各レイヤーとは異なる位置にある。そしてコンピュータ操作の発見は、デプロイ前の評価がエージェントの機能とともにリリースされるものを変えた事例として記録されたものであり、記事のテストのセクションが一般論として主張しているパターンそのものである。