導入：なぜ今、LLMに対するプロンプト注入＋モデル抽出が重要か
ジェネレーティブAI／LLM（大規模言語モデル）のサービス化・エージェント化に伴い、外部入力を介してモデルの挙動を意図的に書き換える＜プロンプト注入（prompt injection）＞と、ブラックボックス照会を通じてモデル機能や学習データの情報を引き出す＜モデル抽出（model extraction）＞が、単独以上に連携した攻撃チェーンとして脅威度を増しています。産業界の主要プレイヤーもプロンプト注入を重大なセキュリティ課題と位置付け、継続的な対策・レッドチーミングを実行しています。
本稿は、赤チームが安全かつ再現性高く実施できる演習設計（攻撃シナリオ→評価指標→実行ツールチェーン）を実務的なチェックリスト形式で提示します。組織のCISO、赤チーム/ブルーチーム、セキュリティ評価者が演習計画・実行・報告に使えるテンプレートを中心に解説します。
攻撃シナリオ：実践的な組み合わせパターン
以下は赤チームが検証すべき代表的なシナリオ群です。各シナリオは「初期アクセス手段 → プロンプト注入の媒介 → モデル抽出/データ漏洩」の流れを想定しています。
シナリオ一覧
- 文書取り込みエージェント経由の注入：外部ドキュメント（PDF/HTML）を読み込むエージェントに悪意ある命令を混入し、システムプロンプトやツール呼び出しを逸脱させてセンシティブ情報を出力させる。
- プラグイン／サードパーティ連携を悪用した注入：サードパーティのプラグインやWebhook経路に細工をして、ユーザーコマンドに見せかけた注入を行う。
- 対話型エージェントの中間メモリ・プロンプト抽出：会話ログや履歴（system/instruction）を読み替えさせ、機密のシステムプロンプトやAPIキー断片を吐かせる。
- モデル抽出による副次的情報獲得：上記で取得したトークン断片や出力パターンを使い、APIへの照会を体系化してモデル応答分布を推定し、近似モデルを再構築する（低コストのクエリ戦略で実施）。
モデル抽出は古くから知られる攻撃であり、API経由のブラックボックス照会からモデル機能を再現する手法は既往研究で体系化されています。赤チーム演習では、古典的手法（例：Tramèrらのモデル盗用）に現代的なLLM固有の技術（プロンプト工学・対話コンテキスト操作）を組み合わせることが求められます。
評価指標（KPI）と測定方法
演習結果を客観的に評価するための主要指標と計測方法を示します。以下は最低限収集すべきメトリクスです。
| カテゴリ | 指標 | 説明／計測方法 |
|---|---|---|
| プロンプト注入 | 成功率（%） | 演習で挿入した注入ペイロードが意図した命令を実行させた割合（試行数に対する成功数） |
| モデル抽出 | 抽出精度（fidelity） | 抽出した代替モデルが元モデルの出力分布をどれだけ再現できるか（ラベル一致率・perplexity差等） |
| コスト | クエリ数／コスト | 成功に必要なAPIクエリ数および金銭コスト（クエリ単価×回数） |
| データ漏洩 | 機密トークン漏洩件数 | 演習で抽出・取得した機密情報の種類と個数（例：APIキー断片、内部スニペット） |
| 検出性 | 検出までの時間（MTTD） | ブルーチームの検知・アラート発生までの平均時間 |
実測には統計的再現性が重要です。各シナリオは複数条件（プロンプト多様性、温度設定、コンテキスト長）で繰り返し評価し、信頼区間を報告してください。プロンプト注入の検査には、fuzzingや自動生成ペイロードを用いた体系的テストが有効であることが最近の研究で示されています。
実行ツールチェーン、プレイブック、緩和策
推奨ツール（演習用）
- 攻撃ペイロード生成／検証：prompt-injector等の公開ツールで注入ペイロードの自動生成・検証を行う。演習では必ずクローズド環境で実行すること。
- プロンプト検出・分類：Hugging Faceの検出モデルや専用のプロンプト注入検出器で、注入候補のスコアリングを実施。検出器は誤検知傾向を把握した上でチューニングする。
- 抽出／クローン作成：クエリ戦略（代表サンプル選択、アクティブラーニング手法）と代替モデル学習パイプライン（小規模Transformer再学習）を用いて抽出度を測定する。
演習プレイブック（高レベル）
- 目的定義：範囲（対象モデル/API・許可・禁止領域）と成功条件を明文化。
- 環境準備：隔離されたテスト環境（ステージング／ミラー）、監査ログの完全取得を設定。
- 基準ベースの攻撃実行：低侵襲→段階的に手法を強化し、KPIを収集。
- ブルーチーム介入：検出ルール・アラートの評価、フォレンジック手順の検証。
- 報告と改善：攻撃技術、検出の盲点、緩和策の優先度付き提言をまとめる。
緩和策と運用上の注意点
プロンプト注入・モデル抽出への対抗策は多層防御が基本です。具体的には「システムプロンプトの最小化／隔離」「入力サニタイズとコンテンツ検査」「出力制約（出力フィルタ・自動レビュー）」「レート制限とクエリ課金による経済的障壁」「モデル出力の差分検証（マルチモデル照合）」等が有効で、産業界では自動化されたレッドチーミングとアドバーサリアルトレーニングの組合せが推奨されています。
法的・倫理的留意点
演習は必ず明確な承認（スコープ、タイムボックス、影響範囲）を得て実施してください。実運用APIや第三者サービスに対する無許可の抽出試行は法的リスクを伴います。演習レポートはインシデント対応チーム／法務と共有し、必要に応じて機密情報の取り扱いポリシーに従って保護してください。
まとめ
プロンプト注入とモデル抽出を組み合わせた赤チーム演習は、LLMを安全に運用するための重要な検証手段です。本稿で示したシナリオ、KPI、ツールチェーンをテンプレートとして採用し、定期的な演習と検出ルールの改善ループを回すことを推奨します。