CI/CDパイプライン設計

# AI CI/CDパイプライン
name: AI Chatbot CI/CD

triggers:
  prompt_change:
    paths: ["prompts/**"]
    pipeline: [lint, eval_regression, eval_safety, canary_deploy]
  rag_update:
    paths: ["knowledge/**"]
    pipeline: [validate_docs, reindex, eval_retrieval, eval_regression, deploy]
  code_change:
    paths: ["src/**"]
    pipeline: [unit_test, integration_test, eval_regression, canary_deploy]

stages:
  lint:
    - prompt_syntax_check
    - template_variable_validation
    - prohibited_pattern_check

  eval_regression:
    - name: "回帰テスト（50ケース）"
      dataset: "golden_dataset_v3.jsonl"
      metrics:
        quality_score: ">= 4.0"
        faithfulness: ">= 0.85"
        relevance: ">= 0.80"
      judge_model: "gpt-4o"

  eval_safety:
    - name: "安全性テスト（30ケース）"
      dataset: "safety_test_cases.jsonl"
      checks:
        - prompt_injection_resistance
        - pii_leak_prevention
        - prohibited_content_filter

  eval_retrieval:
    - name: "検索精度テスト"
      dataset: "retrieval_test_cases.jsonl"
      metrics:
        recall_at_5: ">= 0.80"
        mrr: ">= 0.70"

  canary_deploy:
    - deploy_canary(10%)
    - monitor(duration=30min, metrics=[quality, latency, error_rate])
    - if_passed: deploy_full
    - if_failed: rollback + alert

評価スイート設計

デプロイ戦略

プロンプト管理フロー

1. 開発者がプロンプトを変更（Gitブランチ）
2. PR作成 → 自動で評価スイート実行
3. 評価結果をPRにコメント
4. チームメンバーがレビュー（品質スコアの変化を確認）
5. マージ → カナリアデプロイ → 段階展開

監視メトリクス一覧

ダッシュボードレイアウト

┌────────────────────────────────────────────────────────┐
│ 社内AIチャットボット 運用ダッシュボード                    │
├──────────┬──────────┬──────────┬──────────┬─────────────┤
│ 品質スコア │ 満足度   │ レイテンシ │ 日次コスト │ エラー率    │
│ 4.1 ▲   │ 82% ●   │ 3.2s ●  │ ¥12,400  │ 0.3% ●     │
├──────────┴──────────┴──────────┴──────────┴─────────────┤
│ 品質スコア推移（30日）                                    │
│ [折れ線グラフ: 日次品質スコアと7日移動平均]                  │
├────────────────────────┬───────────────────────────────┤
│ カテゴリ別品質           │ ハルシネーション率推移           │
│ 就業規則: 4.3 ████████ │ [折れ線グラフ: 日次推移]         │
│ 経費精算: 4.0 ███████  │ 現在: 3.2% (目標: <5%)         │
│ 福利厚生: 4.2 ████████ │                               │
│ IT規程:   3.8 ██████  │                               │
├────────────────────────┼───────────────────────────────┤
│ 直近の低品質回答（5件）  │ アクティブアラート              │
│ [リスト: 質問、スコア、  │ ● P3 IT規程カテゴリ品質低下    │
│  問題点]               │ ● P4 レイテンシ微増            │
├────────────────────────┴───────────────────────────────┤
│ ユーザーフィードバック集計  │  利用量推移（日次リクエスト数）  │
│ 👍 1,640  👎 360        │  [棒グラフ: 日次推移]           │
└────────────────────────────────────────────────────────┘

アラートルール

定期レビュープロセス

インシデント分類（社内AIチャットボット固有）

対応フロー: AI-01（社内規程の誤回答）

検知（自動 or ユーザー報告）
  │
  ├── 1. トリアージ（15分以内）
  │     ├── 誤回答の内容確認
  │     ├── 影響範囲の特定（何人が閲覧したか）
  │     └── 深刻度判定（法的リスク、業務影響）
  │
  ├── 2. 緩和（1時間以内）
  │     ├── 該当カテゴリの回答に「確認中」バナー追加
  │     ├── 問題のRAGソースを特定
  │     └── 必要に応じてプロンプトの緊急修正
  │
  ├── 3. 修正（4時間以内）
  │     ├── RAGソースの修正 or プロンプトの修正
  │     ├── 修正版の評価スイート実行
  │     └── 修正版のデプロイ
  │
  ├── 4. 事後対応（24時間以内）
  │     ├── 影響ユーザーへの通知
  │     ├── 正しい情報の提供
  │     └── 根本原因分析
  │
  └── 5. 再発防止（1週間以内）
        ├── テストケースの追加
        ├── モニタリングルールの強化
        └── プレイブックの更新

ロールバック手順

# ステップ1: 現在の状態を確認
kubectl get deploy ai-chatbot -o json | jq '.spec.template.spec.containers[0].env'

# ステップ2: プロンプトのロールバック（フィーチャーフラグ）
curl -X POST https://feature-flags.internal/api/flags/prompt-version \
  -d '{"value": "v2", "reason": "SEV2 incident AI-01"}'

# ステップ3: RAGインデックスのロールバック（必要な場合）
python scripts/restore_rag_index.py \
  --snapshot="2025-01-15T00:00:00Z" \
  --reason="SEV2 incident AI-01"

# ステップ4: ロールバック後の品質確認
python scripts/run_eval_suite.py \
  --suite=smoke \
  --output=rollback_verification.json

# ステップ5: 確認完了後、ステータス更新
curl -X POST https://incident-mgmt.internal/api/incidents/AI-INC-2025-042 \
  -d '{"status": "mitigated", "action": "rollback_completed"}'

コミュニケーションテンプレート

社内ユーザーへの通知（発生時）:

件名: 【お知らせ】社内AIチャットボットの回答品質について

社内AIチャットボットをご利用の皆様

現在、[カテゴリ名]に関する一部の回答に不正確な内容が
含まれていることを確認しております。

■ 影響範囲
・対象: [カテゴリ名]に関する質問への回答
・期間: [開始日時] 〜 現在

■ 対応状況
・該当カテゴリの回答に注意喚起のバナーを表示しています
・正確な情報への修正作業を進めています

■ お願い
・[カテゴリ名]に関する重要な判断は、[担当部署]に
  直接ご確認ください
・不正確な回答を発見された場合は、「わるいね」ボタンで
  ご報告ください

修正完了後、改めてご連絡いたします。
ご不便をおかけし申し訳ございません。

AI基盤チーム

修正完了通知:

件名: 【完了報告】社内AIチャットボットの回答品質改善

社内AIチャットボットをご利用の皆様

先日ご連絡した[カテゴリ名]の回答品質の問題について、
修正が完了しましたのでご報告いたします。

■ 原因
・[簡潔な原因説明]

■ 対策
・[実施した修正内容]
・[再発防止策]

■ 品質確認結果
・修正後の品質テストに合格しています
・今後もモニタリングを継続します

引き続きAIチャットボットをご活用ください。
お気づきの点がございましたら、お気軽にご報告ください。

AI基盤チーム