当初見積もり vs 現状の比較

コスト増の主因 TOP3

主因1: 全クエリにGPT-4oを使用（影響額: +約70万円/月）

当初はGPT-4o miniで見積もっていたが、「品質を高めたい」という現場の要望でGPT-4oに変更。FAQ系（45%）や雑談（10%）にも大モデルを使用しており、過剰スペック。

GPT-4o miniの場合:
  入力: 9,700 × 100,000 = 970Mトークン × $0.15/1M = $145.5
  出力: 800 × 100,000 = 80Mトークン × $0.60/1M = $48
  月額: 約$194（約¥29,000）

GPT-4oの場合:
  入力: 970M × $2.50/1M = $2,425
  出力: 80M × $10.00/1M = $800
  月額: 約$3,225（約¥484,000）

実際にはさらにトークン数が多いため¥1,200,000に到達。
モデル選定だけで大きなコスト差が生じている。

主因2: 過剰なコンテキスト送信（影響額: +約50万円/月）

• RAGのチャンクサイズ1,000トークン x top-5 = 5,000トークン（過大）
• 会話履歴10ターン = 3,000トークン（多すぎる）
• システムプロンプト1,500トークン（冗長）
• 合計9,700トークンのうち、最適化で4,000トークン以下に削減可能

主因3: クエリ数の想定超過（影響額: +約40万円/月）

当初30,000クエリ/月の想定が100,000クエリ/月に増加。利用部門の拡大と1人あたりの利用頻度増加が原因。キャッシュなしのため、同じ質問にも毎回LLMを呼び出している。

コスト構造の問題点

現状のコスト構造:

  ¥2,000,000/月
  ┌─────────────────────────────┐
  │ LLM API ¥1,200K (60%)      │ ← 最大のコストドライバー
  │  ├ 過剰モデル使用           │
  │  ├ 過剰コンテキスト送信     │
  │  └ キャッシュなし           │
  ├─────────────────────────────┤
  │ 人件費 ¥450K (23%)         │
  ├─────────────────────────────┤
  │ インフラ ¥150K (8%)        │
  ├─────────────────────────────┤
  │ その他 ¥200K (10%)         │
  └─────────────────────────────┘

問題: API利用料が全体の60%を占め、
      3つの最適化レバーがすべて未活用。

施策1: トークン最適化（削減効果: ¥380,000/月）

トークン削減によるAPI利用料の変化:
  現状:    入力9,700 × 100K = 970Mトークン → $2,425
  最適化後: 入力3,300 × 100K = 330Mトークン → $825
  入力コスト削減: $1,600/月（約¥240,000）

  出力は変更なし: $800/月

  LLM APIコスト: $2,425 + $800 → $825 + $800
  削減額: $1,600/月（約¥240,000）

  + リランキングAPI費用: ¥20,000/月
  純削減額: 約¥220,000/月

施策2: モデルルーティング（削減効果: ¥450,000/月）

モデルルーティング後のコスト（トークン最適化後の値で計算）:

GPT-4o mini（85%のクエリ = 85,000件）:
  入力: 85,000 × 3,300 = 280.5Mトークン × $0.15/1M = $42
  出力: 85,000 × 800 = 68Mトークン × $0.60/1M = $41
  小計: $83

GPT-4o（15%のクエリ = 15,000件）:
  入力: 15,000 × 3,300 = 49.5Mトークン × $2.50/1M = $124
  出力: 15,000 × 800 = 12Mトークン × $10.00/1M = $120
  小計: $244

ルーター自体のコスト（Haiku相当で全件判定）: 約$10/月

合計: $83 + $244 + $10 = $337/月（約¥51,000）

現状LLM API: ¥1,200,000
トークン最適化 + ルーティング後: 約¥51,000
削減額: 約¥1,149,000/月

ただし段階的導入のため:
  1ヶ月目（トークン最適化のみ）: ¥220,000削減
  2ヶ月目（ルーティング追加）: ¥450,000追加削減

施策3: セマンティックキャッシュ（削減効果: ¥150,000/月）

キャッシュ導入計画:

Phase 1（1ヶ月目）: FAQ系クエリのキャッシュ
  - 上位200の頻出質問をプリウォーム
  - 予想キャッシュヒット率: 35%（FAQ系の45%中）
  - 削減クエリ数: 100,000 × 0.45 × 0.35 = 15,750件

Phase 2（2ヶ月目）: 全クエリへの拡張
  - セマンティックキャッシュを全クエリタイプに拡張
  - 予想キャッシュヒット率: 25%（全体）
  - 削減クエリ数: 100,000 × 0.25 = 25,000件

キャッシュ導入後のコスト削減（ルーティング後の単価で計算）:
  25,000件 × 平均¥6/件 = ¥150,000/月の削減
  + Embedding費用増: ¥15,000/月
  純削減額: 約¥135,000/月

3ヶ月の実行タイムライン

目標達成: 月額200万円 → 95万円（52.5%削減）

予算管理体制

部門別予算配分:

チャージバック設計

配賦ルール:

• API利用料: タグ（部門ID）に基づき直接配賦
• 共通費（インフラ、モニタリング等）: クエリ数比率で按分
• AI基盤チーム人件費: 均等按分（5部門で¥90,000ずつ）

月次レポートテンプレート

■ AI Cost Monthly Report

1. サマリー
   月額総コスト | 予算 | 消化率 | 前月比 | 1クエリ単価

2. 部門別コスト
   部門名 | クエリ数 | コスト | 予算 | 消化率 | 前月比

3. 最適化効果
   施策名 | 削減額 | 累積削減額

4. 異常・アラート
   日付 | 内容 | 対応 | ステータス

5. 翌月予測
   予測コスト | リスク要因 | 対策

アラート設計

PDCAサイクルの運用ルール