LESSON 30分

ストーリー

田中VPoE
ここまでプロンプトインジェクション、ハルシネーション、情報漏洩と個別のリスクを学んできた。次は、これらを体系的に管理するリスクフレームワークを設計する
あなた
個別の対策だけではダメなんですか?
田中VPoE
もちろん個別対策も重要だが、場当たり的に対策していると抜け漏れが出る。NIST AI RMFやISO/IEC 42001のようなフレームワークに基づいて、組織全体でリスクを管理する仕組みが必要だ
あなた
なるほど、セキュリティのISMSと同じような考え方ですね

AIリスクフレームワークとは

なぜフレームワークが必要か

場当たり的な対策:
  インシデント発生 → 慌てて対策 → 別のリスクが顕在化 → 繰り返し

フレームワークに基づく管理:
  リスク特定 → 評価 → 対策計画 → 実装 → 監視 → 継続改善

主要なAIリスクフレームワーク

フレームワーク発行元特徴
NIST AI RMF米国国立標準技術研究所包括的、自主的、柔軟
ISO/IEC 42001ISO/IECAI管理システムの国際規格
EU AI Act欧州連合リスクベースの法的規制
AI事業者ガイドライン総務省・経産省日本向け、原則ベース

NIST AI RMF(AI Risk Management Framework)

4つのコア機能

機能英語説明
統制GOVERN組織全体のAIリスク管理体制を構築
マッピングMAPAIシステムのリスクを特定・文脈化
測定MEASUREリスクを定量的・定性的に評価
管理MANAGEリスクへの対応策を実装・監視

GOVERN(統制)

組織レベルのガバナンス:
├── リスク管理方針の策定
├── 役割と責任の明確化
│   ├── AI責任者(CAIO)
│   ├── AI倫理委員会
│   └── リスク管理チーム
├── リスク許容度の定義
└── 教育・啓発プログラム

MAP(マッピング)

AIシステムごとにリスクを特定:
├── システムの目的と利用範囲
├── 影響を受けるステークホルダー
├── 想定されるリスクシナリオ
│   ├── 技術的リスク(ハルシネーション、脆弱性)
│   ├── 社会的リスク(バイアス、差別)
│   └── 運用リスク(障害、誤用)
└── リスクの文脈化(業界・用途に応じた重み付け)

MEASURE(測定)

リスクの定量評価:
├── 影響度 × 発生可能性 = リスクスコア
├── 技術的指標
│   ├── ハルシネーション率
│   ├── 公平性メトリクス
│   └── セキュリティテスト結果
└── 運用的指標
    ├── インシデント発生件数
    ├── ユーザー苦情件数
    └── 対応完了までの時間

MANAGE(管理)

リスク対応の4戦略:
├── 回避: リスクの高い用途を中止
├── 軽減: 技術的・組織的対策を実装
├── 移転: 保険やSLA等で責任を分散
└── 受容: 低リスクは許容範囲として管理

リスクアセスメントの実践

リスク評価マトリクス

影響度
  致命的 │  中  │  高  │ 極高 │ 極高 │
  重大   │  低  │  中  │  高  │ 極高 │
  中程度 │  低  │  低  │  中  │  高  │
  軽微   │  低  │  低  │  低  │  中  │
        ─┼─────┼─────┼─────┼─────┤
         │ 低  │ 中  │ 高  │極高  │
                発生可能性

NetShop社のリスク評価例

リスク影響度発生可能性リスクレベル対応方針
プロンプトインジェクション重大多層防御を実装
ハルシネーション(価格誤表示)致命的極高人間レビュー必須化
PII漏洩致命的PII検出+アクセス制御
バイアスのある推薦中程度定期的なバイアス監査
システム障害重大フォールバック機構

リスク管理台帳

from dataclasses import dataclass
from enum import Enum

class RiskLevel(Enum):
    LOW = "低"
    MEDIUM = "中"
    HIGH = "高"
    CRITICAL = "極高"

class ResponseStrategy(Enum):
    AVOID = "回避"
    MITIGATE = "軽減"
    TRANSFER = "移転"
    ACCEPT = "受容"

@dataclass
class AIRiskEntry:
    risk_id: str
    system_name: str
    risk_description: str
    impact: int  # 1-4
    likelihood: int  # 1-4
    risk_level: RiskLevel
    strategy: ResponseStrategy
    controls: list[str]
    owner: str
    review_date: str

# リスク管理台帳の例
risk_register = [
    AIRiskEntry(
        risk_id="RISK-001",
        system_name="カスタマーサポートAI",
        risk_description="プロンプトインジェクションによるシステムプロンプト漏洩",
        impact=3,
        likelihood=3,
        risk_level=RiskLevel.HIGH,
        strategy=ResponseStrategy.MITIGATE,
        controls=["入力サニタイズ", "システムプロンプト強化", "出力フィルタリング"],
        owner="セキュリティチーム",
        review_date="2026-04-01",
    ),
]

EU AI Actのリスク分類

EU AI Actでは、AIシステムをリスクレベルで4段階に分類しています。

リスクレベル規制内容
許容不可リスク禁止ソーシャルスコアリング、リアルタイム遠隔生体認証
ハイリスク厳格な要件採用AI、信用スコアリング、医療AI
限定リスク透明性義務チャットボット、ディープフェイク
最小リスク規制なしスパムフィルタ、ゲームAI
NetShop社のAIシステムの分類:
├── カスタマーサポートAI → 限定リスク(チャットボット透明性義務)
├── 商品推薦AI → 最小リスク
├── 不正検知AI → ハイリスク(自動意思決定)
└── 採用スクリーニングAI → ハイリスク(採用AI)

まとめ

項目内容
リスクフレームワークNIST AI RMF、ISO/IEC 42001、EU AI Act等
NIST AI RMFの4機能GOVERN、MAP、MEASURE、MANAGE
リスク評価影響度 × 発生可能性でリスクレベルを判定
リスク対応回避・軽減・移転・受容の4戦略

チェックリスト

  • 主要なAIリスクフレームワークの概要を説明できる
  • NIST AI RMFの4つのコア機能を理解した
  • リスク評価マトリクスを使ってリスクレベルを判定できる
  • EU AI Actのリスク分類の考え方を理解した

次のステップへ

次は演習として、NetShop社のAIシステムに対するリスクアセスメントを実施します。


推定所要時間: 30分