本論文は、従来型の Model Context Protocol（MCP）と Code Execution MCP（CE-MCP）のエージェントアーキテクチャを、効率、タスク品質、セキュリティの観点から初めて実証的に比較したものである。10 の代表的な MCP サーバーと 3 つの GPT-4 系モデルで MCP-Bench ベンチマークを用い、接続される MCP サーバーと利用可能なツールの規模が大きくなるにつれて、タスクの振る舞い、ツールの利用パターン、実行レイテンシ、プロトコルの効率がどう変わるかを評価している。さらに MAESTRO 脅威モデリングフレームワークを CE-MCP に適用し、5 つの実行フェーズにわたる 16 の攻撃クラスを特定したうえで、敵対的シナリオを通じて代表的な 4 つのエクスプロイトを検証し、実行前の検証とセマンティックゲーティング、隔離された実行、実行後のセマンティックゲーティングからなる多層的な防御アーキテクチャを提案している。
要点
- コンテキスト結合型（従来型 MCP）とコンテキスト分離型（CE-MCP）のツールオーケストレーションモデルのアーキテクチャ上の違いと、それぞれのスケーラビリティ上のトレードオフを形式化している
- 評価したすべてのモデルとサーバーの構成において、CE-MCP は従来型 MCP と比べてトークン使用量、実行時間、やり取りのターン数を一貫して削減し、ほとんどの設定で同等のタスク達成度を維持したと報告している
- CE-MCP は構造化されたデータ並列のワークフローを持つ、複雑で複数のツールを使うタスクに最も適している一方、従来型 MCP はコンテキストに敏感なタスク、テキスト量の多いタスク、反復の多いタスクで優位を保つことを見出しており、性能の差をモデルの選択ではなくアーキテクチャの実行セマンティクスに帰している
- MAESTRO フレームワークを用いて、5 つの実行フェーズ（ツールの発見、コード生成と計画、コード実行、結果の返却と検証、ランタイムへの影響）にわたる CE-MCP 固有の 16 の攻撃クラスを特定し、代表的な 4 つの攻撃（発見時の成果物を介したコンテキストインジェクション、敵対的なコンテキストによる乗っ取り、実行シンクの操作、認可状態の破壊）を実証的に検証している。そのうちいくつかはサンドボックスからの脱出を一切伴わずに効果を上げている
- 実行前の静的検証とセマンティックゲーティング、隔離され監視された実行、実行後のセマンティックゲーティングという 3 段階の多層防御による緩和アーキテクチャを提案している。これは論文の試行で示されたすべての攻撃を阻止したが、著者らは、防御を把握した適応的な攻撃者に対するストレステストは行っていないと注記している
補足
- この情報源の時点では、本論文は査読済みの出版物ではなく arXiv のプレプリントである。著者らは、オープンサイエンスの成果物（エージェントの実装、Docker の設定、攻撃スクリプト、改変した MCP-Bench）を公開していると述べている
- 著者らは CE-MCP を、厳密な改善でも本質的に欠陥のある設計でもなく、独自のアーキテクチャ上のトレードオフとして位置づけており、一律に安全でないものとして扱うことに注意を促している