LESSON 30分

ストーリー

田中VPoE
「To-Be設計の正常系はできた。しかし実際の業務では想定外のことが必ず起こる。AIシステムの障害、AIが処理できないイレギュラーケース、人間がミスした場合の復旧。これらの例外処理を事前に設計しておかないと、本番で大混乱になる。」
あなた
「正常系の設計に時間をかけすぎて、例外処理は後回しにしがちですね。」
田中VPoE
「まさにそこが落とし穴だ。実際のトラブルの80%は例外処理の不備から起きる。フォールバック、エスカレーション、ロールバックの3つの観点で設計しよう。」

例外の分類

AIプロセスで発生する例外の4タイプ

タイプ説明発生頻度
AI精度起因AIの出力が不正確高(5-15%)OCR誤読、分類ミス、不適切な回答
データ起因入力データに問題がある中(3-8%)フォーマット不正、データ欠損、文字化け
システム起因AIシステムの障害低(0.1-1%)API障害、モデルロード失敗、タイムアウト
ビジネス起因ビジネスルールに合致しない中(5-10%)新しい取引パターン、規則変更、例外的な条件

フォールバック設計

フォールバックとは

AIが処理できない場合に、代替手段で業務を継続する仕組み。

フォールバックの3段階

Level 1: AIの代替手段で処理(自動)
  例: メインAIモデルが応答しない → バックアップモデルで処理

Level 2: 簡略化された自動処理(準自動)
  例: AI分析が失敗 → ルールベースの簡易処理で対応

Level 3: 人間による手動処理(手動)
  例: AIシステム全体が停止 → 従来の手作業プロセスに切り替え

NetShop社のフォールバック設計

業務例外Level 1Level 2Level 3
請求書OCROCR精度低下バックアップOCRエンジンテンプレートマッチング手入力
請求書照合マッチング失敗部分一致で候補提示金額のみの照合手動照合
問い合わせ自動回答LLM応答なしFAQ検索結果を提示テンプレート回答有人対応
問い合わせ分類分類確信度低上位3カテゴリを提示「その他」に分類手動分類
レポート自動生成データ取得失敗キャッシュデータで生成前回レポートにフラグ手動作成

フォールバック切り替えのルール

[AI処理開始]
  → <処理成功?>
    ├── はい → [通常出力]
    └── いいえ → <タイムアウト or エラー?>
        ├── タイムアウト(30秒) → [Level 1: バックアップAI]
        │   → <成功?>
        │       ├── はい → [出力(バックアップフラグ付き)]
        │       └── いいえ → [Level 2: ルールベース処理]
        └── エラー → [Level 2: ルールベース処理]
            → <成功?>
                ├── はい → [出力(簡易処理フラグ付き)]
                └── いいえ → [Level 3: 人間キューに投入]
                             [担当者に通知]
                             [SLA: 2時間以内に処理]

エスカレーション設計

エスカレーションマトリクス

重大度条件エスカレーション先対応SLA通知方法
LowAI精度低下(一時的)担当者4時間メール
Mediumフォールバック発動(継続)チームリーダー2時間Slack + メール
HighAIシステム障害マネージャー + システム部30分Slack + 電話
Criticalデータ漏洩・誤処理の疑い部長 + 情報セキュリティ即時電話 + 緊急会議

エスカレーションフロー

[異常検知]
  → [重大度判定]
  → [該当レベルの担当者に通知]
  → [インシデントチケット起票]
  → <SLA以内に対応?>
    ├── はい → [対応完了 → クローズ]
    └── いいえ → [1段階上にエスカレーション]
                 [対応完了まで繰り返し]

エッジケース対策

想定すべきエッジケース

エッジケース発生シナリオ対策
AIの全面停止クラウドサービスの大規模障害手動運用手順書の整備、年2回の訓練
AIの判断が連続で誤るモデルのドリフト(学習データと実データの乖離)精度モニタリング、自動アラート
人間がAIの判断を盲信「AIが言ったから正しい」バイアス定期的なサンプルチェック義務化
AIへの悪意ある入力プロンプトインジェクション、偽造請求書入力バリデーション、異常検知
法改正でルールが変わるインボイス制度改正 等ルールエンジンの外部化、迅速な更新体制

「AIが止まっても業務は止まらない」設計原則

設計原則:
  1. AIは「あると便利」の位置づけ → AIなしでも業務遂行可能にする
  2. 手動運用手順書を常に最新に保つ
  3. 年2回のフォールバック訓練を実施
  4. AIの処理結果は全てログに記録(監査対応)
  5. AIの判断根拠を人間が確認できるようにする(説明可能AI)

まとめ

項目ポイント
例外の4タイプAI精度起因、データ起因、システム起因、ビジネス起因
フォールバック3段階(バックアップAI → ルールベース → 手動)で設計
エスカレーション重大度に応じた通知先・SLA・通知方法を定義
エッジケースAIの全面停止やモデルドリフトにも対応できる設計
設計原則AIが止まっても業務は止まらない

チェックリスト

  • 例外の4タイプを分類できる
  • 3段階のフォールバック設計ができる
  • エスカレーションマトリクスを作成できる
  • エッジケースを想定した対策を立案できる

次のステップへ

次は「段階的移行計画」として、As-IsからTo-Beへのフェーズ分け、パイロット、ロールバック計画を学ぼう。


推定読了時間: 30分