総合演習：MLOps基盤設計書を作成しよう

As-Is構成:

[Notebook] → 手動 → [pickle] → 手動 → [EC2] → CloudWatch
  個人管理        Slackで共有    手動デプロイ   基本メトリクスのみ

To-Be構成:

[Git + DVC] → [GitHub Actions CI] → [MLflow Tracking]
     ↓                                      ↓
[Great Expectations] → [学習パイプライン] → [MLflow Registry]
                              ↓                    ↓
                    [Feast Feature Store]    [品質ゲート]
                                                   ↓
                                    [Docker + ECR] → [ECS]
                                                       ↓
                                              [Evidently AI + CloudWatch]

技術選定:

Phase 1: 基盤構築（Month 1-2）

目標: Level 0 → Level 1
タスク:
  - MLflow環境構築（1週間）
  - DVC導入、既存データの移行（1週間）
  - 既存3モデルのMLflow移行（2週間）
  - 基本テスト整備（1週間）
  - チームトレーニング（並行実施）

必要リソース:
  - MLエンジニア: 1名（フルタイム）
  - DS: 全員（20%工数）

Phase 2: 自動化（Month 3-4）

目標: CI/CDパイプライン稼働
タスク:
  - GitHub Actions ワークフロー構築（2週間）
  - Feast特徴量ストア構築（2週間）
  - 品質ゲート実装（1週間）
  - Docker化とECSデプロイ（2週間）
  - 統合テスト整備（1週間）

Phase 3: モニタリング＆最適化（Month 5-6）

目標: Level 2達成
タスク:
  - Evidently AIモニタリング構築（2週間）
  - アラート設計・実装（1週間）
  - 自動再学習パイプライン（2週間）
  - ドキュメント整備・運用手順書（1週間）
  - 全体負荷テスト・最適化（2週間）

月次コスト試算:

リスクマトリクス:

KPI:

撤退基準:

• Phase 1完了時にデプロイ所要時間が3日以上短縮されない場合
• Phase 2完了時にチームの50%以上がツールを日常的に使用していない場合
• 月次コストが見積もりの2倍を超えた場合