ストーリー

ミッション概要

前提条件

組織の現状

AIサービスの運用状況:

1. CS-AI（カスタマーサポートAI）
   ├── 稼働開始: 6ヶ月前
   ├── 利用者: CS部門60名
   ├── 月間リクエスト: 50,000件
   ├── モデル: GPT-4o（OpenAI）
   ├── 月間APIコスト: 45万円
   ├── プロンプト管理: Notionにドキュメントとして保管
   ├── モニタリング: CloudWatchでエラー率のみ
   ├── 品質評価: なし（クレームベースで問題把握）
   ├── フォールバック: なし
   └── 担当者: 佐藤（個人で運用）

2. 社内FAQ Bot
   ├── 稼働開始: 3ヶ月前
   ├── 利用者: 全社500名
   ├── 月間リクエスト: 15,000件
   ├── モデル: Claude 3.5 Sonnet（Anthropic）
   ├── 月間APIコスト: 20万円
   ├── RAG: Pinecone + 社内Confluenceのデータ
   ├── プロンプト管理: コード内にハードコード
   ├── モニタリング: アプリケーションログのみ
   ├── 品質評価: なし
   ├── フォールバック: なし
   └── 担当者: 山田（個人で運用）

3. コードレビュー支援AI
   ├── 稼働開始: 1ヶ月前
   ├── 利用者: 開発部門30名（試験運用）
   ├── 月間リクエスト: 3,000件
   ├── モデル: GPT-4o（OpenAI）
   ├── 月間APIコスト: 35万円
   ├── プロンプト管理: GitHubリポジトリでYAML管理
   ├── モニタリング: なし
   ├── 品質評価: なし
   ├── フォールバック: なし
   └── 担当者: 田村（個人で運用）

共通の問題:
  - APIキーは各サービスで個別管理（環境変数）
  - 統合的なログ基盤なし
  - コスト管理はAWSの請求書ベースで月末に把握
  - 障害対応マニュアルなし
  - プロンプトの変更はレビューなしで直接反映

Mission 1: LLMOps成熟度の6軸評価

要件

前提条件の情報をもとに、組織のLLMOps成熟度を6軸で評価してください。

1. 6軸それぞれのスコア（0-4点）と根拠
2. 総合スコアと成熟度レベルの判定
3. 最も改善が急がれる軸の特定

評価軸

総合スコア = (1 + 1 + 1 + 0 + 1 + 0) / 6 = 0.67

判定: Level 1: Basic（基本段階）の下位

信頼性と改善サイクルが0点であり、
Level 0に近い部分も混在している。

Mission 2: 技術スタック選定

要件

以下の制約条件のもと、LLMOps技術スタックを選定してください。

1. 各レイヤーで採用するツールとその理由
2. 導入の優先順位（Phase 1/2/3）
3. 概算コスト（月額）

制約条件

• 年間予算: 追加で500万円（既存APIコスト100万円/月とは別）
• チーム: LLMOps専任を2名確保予定（現在は各サービス担当者3名が兼務）
• データ: CS-AIのログには顧客の問い合わせ内容（PII含む可能性あり）
• プロバイダ: OpenAI + Anthropicの2社

Mission 3: 改善ロードマップ

要件

6ヶ月間の改善ロードマップを策定してください。

1. 月別のマイルストーン
2. 各マイルストーンの達成基準（Definition of Done）
3. リスクと対策

達成度チェック

推定所要時間: 60分