MCPTox は、MCPTox: 実世界の MCP サーバーに対するツールポイズニング攻撃のベンチマーク で提案されたベンチマークであり、現実的な Model Context Protocol の環境において、LLM エージェントが ツールポイズニング（ツールのメタデータに埋め込まれた悪意ある指示）に対してどの程度堅牢であるかを評価する。著者らはこれを、この脅威を体系的に評価する初めてのベンチマークと位置づけている。
内容
このベンチマークは、稼働中の実世界の MCP サーバー 45 台と実在のツール 353 個をもとに構築されている。10 カテゴリの潜在的リスクを網羅する 1312 件の悪意あるテストケースで構成される。
来歴
テストケースは、著者らが設計した 3 種類の異なる攻撃テンプレートから、few-shot 学習によって生成された。論文によれば、データセットは匿名化されたリポジトリで公開されている。
利用
MCPTox: 実世界の MCP サーバーに対するツールポイズニング攻撃のベンチマーク は MCPTox を用いて 20 の代表的な LLM エージェント設定を評価し、ツールポイズニングに対する脆弱性が広く見られることを報告している。o1-mini の攻撃成功率は 72.8% に達し、評価したすべてのモデルで拒否率は 3% 未満だった。