ストーリー
田
田中VPoE
ここまでプロンプトインジェクション、ハルシネーション、情報漏洩と個別のリスクを学んできた。次は、これらを体系的に管理するリスクフレームワークを設計する
田
田中VPoE
もちろん個別対策も重要だが、場当たり的に対策していると抜け漏れが出る。NIST AI RMFやISO/IEC 42001のようなフレームワークに基づいて、組織全体でリスクを管理する仕組みが必要だ
あなた
なるほど、セキュリティのISMSと同じような考え方ですね
あ
AIリスクフレームワークとは
なぜフレームワークが必要か
場当たり的な対策:
インシデント発生 → 慌てて対策 → 別のリスクが顕在化 → 繰り返し
フレームワークに基づく管理:
リスク特定 → 評価 → 対策計画 → 実装 → 監視 → 継続改善
主要なAIリスクフレームワーク
| フレームワーク | 発行元 | 特徴 |
|---|
| NIST AI RMF | 米国国立標準技術研究所 | 包括的、自主的、柔軟 |
| ISO/IEC 42001 | ISO/IEC | AI管理システムの国際規格 |
| EU AI Act | 欧州連合 | リスクベースの法的規制 |
| AI事業者ガイドライン | 総務省・経産省 | 日本向け、原則ベース |
NIST AI RMF(AI Risk Management Framework)
4つのコア機能
| 機能 | 英語 | 説明 |
|---|
| 統制 | GOVERN | 組織全体のAIリスク管理体制を構築 |
| マッピング | MAP | AIシステムのリスクを特定・文脈化 |
| 測定 | MEASURE | リスクを定量的・定性的に評価 |
| 管理 | MANAGE | リスクへの対応策を実装・監視 |
GOVERN(統制)
組織レベルのガバナンス:
├── リスク管理方針の策定
├── 役割と責任の明確化
│ ├── AI責任者(CAIO)
│ ├── AI倫理委員会
│ └── リスク管理チーム
├── リスク許容度の定義
└── 教育・啓発プログラム
MAP(マッピング)
AIシステムごとにリスクを特定:
├── システムの目的と利用範囲
├── 影響を受けるステークホルダー
├── 想定されるリスクシナリオ
│ ├── 技術的リスク(ハルシネーション、脆弱性)
│ ├── 社会的リスク(バイアス、差別)
│ └── 運用リスク(障害、誤用)
└── リスクの文脈化(業界・用途に応じた重み付け)
MEASURE(測定)
リスクの定量評価:
├── 影響度 × 発生可能性 = リスクスコア
├── 技術的指標
│ ├── ハルシネーション率
│ ├── 公平性メトリクス
│ └── セキュリティテスト結果
└── 運用的指標
├── インシデント発生件数
├── ユーザー苦情件数
└── 対応完了までの時間
MANAGE(管理)
リスク対応の4戦略:
├── 回避: リスクの高い用途を中止
├── 軽減: 技術的・組織的対策を実装
├── 移転: 保険やSLA等で責任を分散
└── 受容: 低リスクは許容範囲として管理
リスクアセスメントの実践
リスク評価マトリクス
影響度
致命的 │ 中 │ 高 │ 極高 │ 極高 │
重大 │ 低 │ 中 │ 高 │ 極高 │
中程度 │ 低 │ 低 │ 中 │ 高 │
軽微 │ 低 │ 低 │ 低 │ 中 │
─┼─────┼─────┼─────┼─────┤
│ 低 │ 中 │ 高 │極高 │
発生可能性
NetShop社のリスク評価例
| リスク | 影響度 | 発生可能性 | リスクレベル | 対応方針 |
|---|
| プロンプトインジェクション | 重大 | 高 | 高 | 多層防御を実装 |
| ハルシネーション(価格誤表示) | 致命的 | 中 | 極高 | 人間レビュー必須化 |
| PII漏洩 | 致命的 | 低 | 中 | PII検出+アクセス制御 |
| バイアスのある推薦 | 中程度 | 中 | 低 | 定期的なバイアス監査 |
| システム障害 | 重大 | 低 | 低 | フォールバック機構 |
リスク管理台帳
from dataclasses import dataclass
from enum import Enum
class RiskLevel(Enum):
LOW = "低"
MEDIUM = "中"
HIGH = "高"
CRITICAL = "極高"
class ResponseStrategy(Enum):
AVOID = "回避"
MITIGATE = "軽減"
TRANSFER = "移転"
ACCEPT = "受容"
@dataclass
class AIRiskEntry:
risk_id: str
system_name: str
risk_description: str
impact: int # 1-4
likelihood: int # 1-4
risk_level: RiskLevel
strategy: ResponseStrategy
controls: list[str]
owner: str
review_date: str
# リスク管理台帳の例
risk_register = [
AIRiskEntry(
risk_id="RISK-001",
system_name="カスタマーサポートAI",
risk_description="プロンプトインジェクションによるシステムプロンプト漏洩",
impact=3,
likelihood=3,
risk_level=RiskLevel.HIGH,
strategy=ResponseStrategy.MITIGATE,
controls=["入力サニタイズ", "システムプロンプト強化", "出力フィルタリング"],
owner="セキュリティチーム",
review_date="2026-04-01",
),
]
EU AI Actのリスク分類
EU AI Actでは、AIシステムをリスクレベルで4段階に分類しています。
| リスクレベル | 規制内容 | 例 |
|---|
| 許容不可リスク | 禁止 | ソーシャルスコアリング、リアルタイム遠隔生体認証 |
| ハイリスク | 厳格な要件 | 採用AI、信用スコアリング、医療AI |
| 限定リスク | 透明性義務 | チャットボット、ディープフェイク |
| 最小リスク | 規制なし | スパムフィルタ、ゲームAI |
NetShop社のAIシステムの分類:
├── カスタマーサポートAI → 限定リスク(チャットボット透明性義務)
├── 商品推薦AI → 最小リスク
├── 不正検知AI → ハイリスク(自動意思決定)
└── 採用スクリーニングAI → ハイリスク(採用AI)
まとめ
| 項目 | 内容 |
|---|
| リスクフレームワーク | NIST AI RMF、ISO/IEC 42001、EU AI Act等 |
| NIST AI RMFの4機能 | GOVERN、MAP、MEASURE、MANAGE |
| リスク評価 | 影響度 × 発生可能性でリスクレベルを判定 |
| リスク対応 | 回避・軽減・移転・受容の4戦略 |
チェックリスト
次のステップへ
次は演習として、NetShop社のAIシステムに対するリスクアセスメントを実施します。
推定所要時間: 30分