ストーリー

デプロイ戦略の概要

LLMアプリケーション固有のデプロイリスク

主要なデプロイ戦略

カナリアリリース

一部のトラフィックだけを新バージョンに振り分け、品質を確認してから全体に展開します。

カナリアリリースの流れ:

Phase 1: 5%のトラフィックを新バージョンに
┌────────────────────────────────────┐
│ 旧バージョン (95%) ████████████████ │
│ 新バージョン (5%)  █               │
└────────────────────────────────────┘
  → 品質メトリクスを監視（1-2時間）

Phase 2: 問題なければ25%に拡大
┌────────────────────────────────────┐
│ 旧バージョン (75%) ████████████████ │
│ 新バージョン (25%) ████            │
└────────────────────────────────────┘
  → 品質メトリクスを監視（2-4時間）

Phase 3: 問題なければ100%に展開
┌────────────────────────────────────┐
│ 新バージョン (100%) ███████████████ │
└────────────────────────────────────┘

ブルーグリーンデプロイ

新旧2つの環境を用意し、トラフィックを瞬時に切り替えます。

ブルーグリーンデプロイ:

   トラフィック
       │
       ▼
  ┌─────────┐
  │  Router  │
  └────┬────┘
       │
  ┌────┼────────────┐
  │    │            │
  ▼    │            ▼
Blue   │          Green
(現行)  │          (新版)
       │
    切替時にRouterの
    向き先を変更

シャドウデプロイ

新バージョンを並行実行するが、ユーザーには旧バージョンの結果を返します。

シャドウデプロイ:

リクエスト ──→ Router ──→ 旧バージョン ──→ ユーザーに返却
                 │
                 └──→ 新バージョン ──→ 結果をログに記録
                                      （ユーザーには返さない）
                                        │
                                        ▼
                                   品質比較分析

フィーチャーフラグ

ユーザー属性や条件に応じてバージョンを切り替えます。

デプロイ戦略の選択基準

ロールバック設計

自動ロールバックの条件

# ロールバック設定例
rollback:
  automatic:
    conditions:
      - metric: "error_rate"
        threshold: 5          # エラー率5%超過
        window: "5m"
      - metric: "quality_score"
        threshold: 0.7        # 品質スコア0.7未満
        window: "15m"
      - metric: "latency_p95"
        threshold: 5000       # P95レイテンシ5秒超過
        window: "5m"
    action: "rollback_to_previous"
    notification:
      - channel: "slack"
        target: "#llmops-alerts"

まとめ

チェックリスト

• 4つのデプロイ戦略の違いと適した場面を説明できる
• 変更の種類に応じた戦略選択ができる
• 自動ロールバックの条件設計を理解した
• プロンプトロールバックとコードロールバックの違いを把握した

推定読了時間: 30分