ストーリー
田
田中VPoE
コスト構造、キャッシュ、モデル選択、Token最適化、FinOpsを学んだ。ここでNetShop社のAIコスト最適化計画を策定してもらう
あなた
月100万円超のコストを削減する計画ですね
あ
田
田中VPoE
そうだ。CFOから「AI活用は推進したいが、コストの伸びを抑えたい。3ヶ月で30%のコスト削減を達成してほしい」という要望が来ている
あなた
品質を維持しながらコストを削減する具体的な計画を立てます
あ
ミッション概要
| 項目 | 内容 |
|---|---|
| 目標 | AIコスト30%削減の最適化計画を策定する |
| 所要時間 | 90分 |
| ミッション数 | 3つ |
| 使用知識 | コスト分析 / キャッシュ / モデル選択 / Token最適化 / FinOps |
| 評価観点 | 削減効果の定量性、品質維持、実現可能性 |
前提条件
【NetShop社 AI月間コスト内訳】
| システム | モデル | 月間リクエスト | 月間コスト |
|---------|--------|-------------|----------|
| チャットボット | GPT-4o | 10,000 | ¥350,000 |
| レコメンド | GPT-4o-mini | 5,000,000 | ¥250,000 |
| 商品説明生成 | GPT-4o | 2,000 | ¥80,000 |
| 請求書処理 | Claude Sonnet | 3,000 | ¥120,000 |
| 通話記録 | GPT-4o + Whisper | 4,000 | ¥180,000 |
| 画像チェック | GPT-4o-mini | 5,000 | ¥20,000 |
合計: ¥1,000,000/月
月間予算: ¥1,000,000（来期も据え置き）
目標: 3ヶ月で30%削減 → ¥700,000/月以下Mission 1: コスト分析と最適化機会の特定（30分）
タスク
【コスト分析レポート】
1. システム別コスト効率分析:
| システム | コスト/件 | 削減余地 | 理由 |
|---------|----------|---------|------|
| ___ | ___ | ___ | ___ |
2. 最適化機会の特定:
| 機会 | 対象システム | 手法 | 期待削減額 |
|------|-----------|------|----------|
| ___ | ___ | ___ | ___ |
3. 優先順位（ROIの高い順）:
___解答例を見る
1. コスト効率:
| システム | コスト/件 | 削減余地 | 理由 |
|---------|----------|---------|------|
| チャットボット | ¥35 | 高 | GPT-4oで全件処理、FAQ多数 |
| レコメンド | ¥0.05 | 低 | 既にmini、単価最低 |
| 商品説明 | ¥40 | 中 | GPT-4oだが品質要求高 |
| 請求書 | ¥40 | 中 | Sonnet必要だがキャッシュ可能 |
| 通話記録 | ¥45 | 高 | GPT-4oで要約、圧縮余地大 |
| 画像チェック | ¥4 | 低 | 既に低コスト |
2. 最適化機会:
| 機会 | 対象 | 手法 | 期待削減額/月 |
|------|------|------|------------|
| キャッシュ導入 | チャットボット | セマンティックキャッシュ | ¥105,000 |
| モデル切替 | チャットボット | FAQ→mini、複雑→4o | ¥140,000 |
| プロンプト圧縮 | 通話記録 | 要約プロンプト最適化 | ¥36,000 |
| バッチ化 | 商品説明 | Batch APIで50%割引 | ¥40,000 |
3. 優先順位:
1位: チャットボットのモデルルーティング（¥140K削減、実装1週間）
2位: チャットボットのキャッシュ（¥105K削減、実装2週間）
3位: 商品説明のバッチ化（¥40K削減、実装3日）
4位: 通話記録のプロンプト圧縮（¥36K削減、実装1週間）Mission 2: 最適化実装計画（30分）
タスク
【最適化実装計画】
1. 各施策の詳細設計:
施策1（最優先）:
- 現状: ___
- 変更内容: ___
- 品質担保方法: ___
- 実装ステップ: ___
- リスクと対策: ___
施策2: ___
施策3: ___
2. 実装スケジュール:
| 週 | 施策 | 担当 | 成果物 |
|----|------|------|--------|
| ___ | ___ | ___ | ___ |
3. 品質モニタリング計画:
___解答例を見る
1. 施策詳細:
施策1: チャットボットのモデルルーティング
- 現状: 全10,000件をGPT-4oで処理（¥350K/月）
- 変更: FAQ/簡易→GPT-4o-mini(80%)、複雑→GPT-4o(20%)
- 品質担保: mini処理後に品質チェック、閾値未満は4oにエスカレーション
- ステップ: ルーター実装→A/Bテスト(1週間)→段階的移行(1週間)
- リスク: mini品質不足→カスケード比率を調整（20%→30%）
施策2: セマンティックキャッシュ
- 現状: 全リクエストでAPI呼出
- 変更: FAQ的質問をキャッシュ（ヒット率30%想定）
- 品質担保: 類似度閾値0.95、TTL 24時間、商品情報更新で無効化
- ステップ: キャッシュ実装→ヒット率計測(1週間)→閾値調整(1週間)
施策3: 商品説明のBatch API化
- 現状: リアルタイムAPI呼出
- 変更: 夜間バッチで一括生成（50%コスト削減）
- 品質担保: 朝の品質チェック、NGは再生成
- ステップ: バッチジョブ実装(3日)→並行運用(1週間)→切替
2. スケジュール:
| 週 | 施策 | 担当 | 成果物 |
|----|------|------|--------|
| W1-2 | モデルルーティング | エンジニアA | ルーター、A/Bテスト結果 |
| W3-4 | セマンティックキャッシュ | エンジニアB | キャッシュ基盤 |
| W5 | バッチ化 | エンジニアA | バッチジョブ |
| W6-8 | 全施策の監視・調整 | チーム全員 | 最適化レポート |
3. 品質モニタリング:
- 各施策の前後で品質スコアを比較（低下5%以内を基準）
- 日次でCSAT（顧客満足度）を追跡
- 週次でサンプリングレビュー（50件）
- 品質低下が5%を超えたら即座にロールバックMission 3: FinOps体制の構築（30分）
タスク
【FinOps体制設計書】
1. コスト可視化の設計:
ダッシュボード構成: ___
配賦ルール: ___
2. 月次コストレビュープロセス:
参加者: ___
レビュー項目: ___
アクション: ___
3. 予算管理とアラート:
予算設定: ___
アラートルール: ___
4. 継続的最適化の仕組み:
___
5. 3ヶ月後の目標コスト内訳:
| システム | 現状 | 目標 | 削減施策 |
|---------|------|------|---------|
| ___ | ___ | ___ | ___ |解答例を見る
1. コスト可視化:
ダッシュボード: システム別日次コスト、モデル別コスト比率、
予算消化率、コスト予測、リクエスト単価トレンド
配賦: AI推進チームが全体管理、システム別にタグ付けで自動配賦
2. 月次レビュー:
参加者: AI推進チーム、各システム担当、経理
項目: 前月実績vs予算、システム別トレンド、異常値分析、最適化効果
アクション: 予算超過システムの改善タスク発行、成功施策の横展開
3. 予算・アラート:
予算: 全体¥700K/月、システム別に上限設定
アラート:
- 日次コストが予算/30日の150%超 → WARNING(Slack)
- 月間消化率80%超 → WARNING(Slack+メール)
- 月間消化率95%超 → CRITICAL(チームリーダー+経理)
4. 継続的最適化:
- 月次でコスト効率TOP3改善機会を特定
- 四半期で新モデルの評価（コスト/品質比較）
- 半年で全体アーキテクチャの見直し
5. 3ヶ月後目標:
| システム | 現状 | 目標 | 削減施策 |
|---------|------|------|---------|
| チャットボット | ¥350K | ¥105K | ルーティング+キャッシュ |
| レコメンド | ¥250K | ¥250K | 維持（既に最適） |
| 商品説明 | ¥80K | ¥40K | Batch API化 |
| 請求書 | ¥120K | ¥100K | テンプレートキャッシュ |
| 通話記録 | ¥180K | ¥144K | プロンプト圧縮 |
| 画像チェック | ¥20K | ¥20K | 維持 |
| 合計 | ¥1,000K | ¥659K | 34%削減 |達成度チェック
| 評価項目 | A（優秀） | B（合格） | C（要改善） |
|---|---|---|---|
| コスト分析 | 定量的で根拠のある分析 | 主要コストを把握 | 分析が不十分 |
| 最適化計画 | ROI付きの具体的実装計画 | 基本的な施策を提示 | 施策が具体性に欠ける |
| FinOps | 組織的な管理体制を設計 | 基本的な管理ルール | 管理体制が不明確 |
| 品質維持 | 品質モニタリング含む | 品質への言及あり | 品質考慮なし |
推定所要時間: 90分