イントロダクション：なぜMLaaSを検査するのか
クラウド上の推論APIやホスティングされたモデル（MLaaS）は、容易に外部からのクエリで利用できるため、第三者によるモデル抽出（model extraction）や機能の複製が実行されやすい対象です。こうした攻撃は、知的財産の流出、攻撃耐性の低下、訓練データの逆推定（プライバシー侵害）など重大なリスクを引き起こします。学術的にモデル抽出が示された最初の報告の一つはTramèrらの研究で、公開API経由での“盗用”が現実的であることを示しています。
本ガイドは、ペネトレーションテスト（赤チーム）視点で〈攻撃シナリオ〉〈計測指標〉〈実行手順〉を整理し、テスト設計・評価・報告に使える実務的テンプレートを提供します。法律・倫理上の注意事項や、実際に検出された事例と防御の最新知見も簡潔にまとめます。
攻撃シナリオと脅威モデル
モデル抽出攻撃は攻撃者の権限やアクセスできる情報により複数に分類できます。代表的なシナリオを挙げ、各ケースでの目的と手法を示します。
1. ラベル／確率出力を利用したブラックボックス抽出
最も一般的な手法で、入力サンプルをAPIに投げて出力（ラベル／確率）を収集し、同等または類似のモデル（サロゲート）を学習させます。Tramèrらの実験では、このアプローチで実稼働サービスから機能的に同等なモデルを得ることが示されています。
2. 転移学習を狙った抽出
ソース（被害）モデルが公開プレトレイン済みモデルをファインチューニングしている場合、少数のクエリと合成データで高精度にコピーできることが報告されています（研究・事例多数）。この分類は、実装ミスや過度な情報公開があると成功率が上がります。
3. 生成モデル／LLM向けの抽出
生成モデル（GANや大規模言語モデル）では、出力のサンプリング挙動やトークン分布を推定して確率分布を近似し、同様の生成物を再現することが目標になります。GANに対する抽出の研究や、LLMの確率分布再現を狙った手法が報告されています。
4. 分散／フェデレーテッド抽出（スケールアウト）
多数のホスト（ボット）を用いてクエリを分散実行し、レート制限やIPベースの制限を回避する攻撃です。実務的には、数千〜数万クエリで高性能モデルが模倣可能であるとの報告もあり、クエリ制限だけでは十分でないケースがあります。
評価指標（計測指標） — 成功を定量化する
モデル抽出の評価は、多角的な指標で行う必要があります。ここでは現場で使える主要指標と解釈を示します。
| 指標 | 定義（計算式） | 解釈・目安 |
|---|---|---|
| 機能的一致度（Agreement） | 被害モデルと複製モデルの同一入力に対する出力一致率（分類） | 高いほど抽出成功。80%超で実用上は危険領域。 |
| 再現精度（Stolen Accuracy） | 複製モデルを被害モデルのテストデータで評価した正答率 | 被害モデルに近いほど良好。差分は過学習やデータ分布差を示唆。 |
| 予測分布距離（KL-divergence / JS） | 確率出力の分布差を測る指標 | 小さいほど出力の確率挙動が近い。 |
| クエリ効率（Queries / Accuracy） | 到達した性能に必要なクエリ数 | 少ないほど実用的な攻撃。10kクエリ程度で大きなモデルが複製できる事例あり。 |
| 転移可能性（Transfer Attack Success） | 抽出モデルを用いた攻撃（敵対例等）が元モデルでも成功する率 | 高いと抽出が攻撃面を拡大させる。 |
評価時は複数の指標を同時に報告すること（例：Agreement 87%、Stolen Accuracy −1.2pt、KL=0.05、クエリ数=12,000）。学術・運用の最新レビューは総説論文にまとまっています。
実行手順（ラボでの安全な再現）と緩和策チェックリスト
実行前の前提条件（必須）
- 法的同意：テスト対象が自社リソース、または明示的な承認を得た環境であること。無許可のテストは違法・契約違反。
- 分離環境：実運用APIには影響を与えないテスト用インスタンス／コピーを用意すること。
- 記録と証跡：全クエリ・レスポンス・スクリプトを監査証跡として保存。
ステップバイステップ（サンプル）
- テスト設計：目的（知財盗用／耐性評価／データ漏洩）を定義し、成功条件（例：Agreement>80%）を決める。
- 入力分布の構築：既存の公開データ、合成データ、ノイズ混入データを用意する。
- 収集フェーズ：APIに対してクエリ実行（レート管理、ランダム化、キャプチャ）。分散実行を行う場合はクエリの分割戦略を設計する。
- サロゲート学習：収集した入出力ペアでモデルを学習（ハイパーパラ探索、データ増強）。
- 評価：上記指標で被害モデルとの一致性および性能を評価。転移攻撃や機密データ再構成の試行も実施。
- 報告：技術要約、リスク評価、緩和策提言を含むレポートを作成する。
推奨ツールチェーン（実務）
- クエリ実行／収集：curl、Python requests、並列化はasyncio / multiprocessing
- 合成データ生成：Faker、NLTK、textattack（LLMテスト時）
- 学習／評価：scikit-learn、PyTorch、TensorFlow、Hugging Face
- 計測・可視化：pandas、scipy、matplotlib、wandb（実験追跡）
検出・緩和策（運用側向け）
代表的な防御とその効果は実証研究や実運用レポートで整理されています。効果的な組合せとしては、トラフィック異常検知＋出力の部分情報化＋差分保護が挙げられます。具体的手段：
- レート制限・CAPTCHA・認証強化 — 明らかなボリューム攻撃を抑止できますが、分散型攻撃には限界があります。
- 出力の丸め・top-k 提供・確率情報の削減 — 出力情報を減らすことで抽出効率を低下させます。
- 差分プライバシー／確率出力のノイズ導入 — プライバシー保証と引き換えにユーティリティが低下するトレードオフがあります。
- ウォーターマーキングとトレーサビリティ — 抽出モデルや出力に検出可能な痕跡を埋める研究が進んでいます。
- リッチなログと行動ベース検知 — 予測クエリの分散・ランダム化・同一入力の再利用などのシグナルを検出します。運用ガイドではこれらの検出シグナルの実装が推奨されています。
法的・倫理的留意点（必読）
ペネトレーションテストの範囲と同意、データ保護法（個人データの取り扱い）、サービス規約違反のリスクを必ず確認してください。第三者のモデルやサードパーティーAPIに対する非許可の抽出は詐取・不正アクセスとみなされ得ます。
結論：MLaaSは現実的にモデル抽出のリスクに晒されており、ペネトレーションテストはリスク可視化と防御設計に不可欠です。実務では縦断的な指標セット（Agreement、Stolen Accuracy、KL、Query Efficiency等）で評価し、防御は複数手段の組合せで実装するのが現実的です。最新の研究や実運用レポートを参照し、テスト設計と防御方針を継続的に見直してください。