AIShellJack は、外部の開発リソースに埋め込まれたプロンプトインジェクションによって、エージェント型 AI コーディングエディタが乗っ取られ、許可されていないターミナルコマンドを実行してしまうかどうかをテストするための自動評価フレームワーク兼ベンチマークである。2 つのコーディングエディタ（Cursor と GitHub Copilot）がこの種の攻撃に対してどれほど脆弱かを調べる学術的なセキュリティ研究のために構築されたもので、その再現パッケージは作成者によって公開されている。
機能
このフレームワークには、MITRE ATT&CK フレームワークの 11 カテゴリから選ばれた 70 のテクニックを網羅する 314 個の異なる攻撃ペイロードが含まれている。これらはオープンソースのセキュリティテストライブラリ atomic-red-team（もともとはウイルス対策やセキュリティ監視の検知能力を検証するために作られたもの）から翻案されたものである。ペイロードの記述は、基になるコマンドの技術的な意図を保ちつつ、明示的に敵対的な用語を取り除くよう手作業で修正されている。これにより、ペイロードは明らかに悪意のある要求ではなく、現実の攻撃者が偽装した指示を模倣するものになっている。フレームワークには、異なるエディタやコードベースにわたって攻撃ペイロードの注入方法（コーディングルールファイル経由）を標準化するシミュレーションエンジンと、注入されたコマンドが実行され、かつ意図した効果を達成したかどうかを判定する、意味論に基づく自動マッチングアルゴリズムが含まれている。このアルゴリズムは、攻撃の成功を識別する精度が 99.1% に達すると報告されており、手作業でレビューしたサンプルに対して検証されている。
採用とエコシステム
このフレームワークは、Claude 4 Sonnet と Gemini 2.5 Pro を用いて動作する Cursor と GitHub Copilot を、TypeScript、Python、C++、JavaScript にまたがる 5 つの実世界のコードベースで評価するために使われた。その結果、攻撃成功率はエディタとモデルの組み合わせに応じて 41.1% から 84.1% であった。