総合演習：カスタマーサポートAI導入レポート

=== エグゼクティブサマリー ===

■ 課題
月間5,000件の問い合わせ対応: 人件費月間1,250万円
平均対応時間: 15分/件、一次解決率: 60%、CSAT: 3.5/5.0
手動分類の誤り率: 15%、テンプレート回答の不適合率: 30%

■ アプローチ
BERT Fine-tuning + LangGraphエージェントで自動化
分類精度: F1=0.92（SVM:0.85, LLM:0.88との比較検証済み）
RAGベース回答生成 + エスカレーション判断

■ 期待効果
- AI対応率: 70%（3,500件/月を自動対応）
- 対応コスト: 1,250万→410万円/月（67%削減）
- CSAT: 3.5→4.0以上
- 対応時間: 15分→2分（AI対応）

■ 投資対効果
- 開発費: 600万円、年間運用費: 240万円
- 年間コスト削減: 約1億円
- ROI: 1,090%、回収期間: 0.9ヶ月

=== テクニカルレポート ===

■ 3手法比較
| 手法 | F1 | 推論時間 | コスト/1K | 学習データ |
|------|-----|---------|----------|-----------|
| SVM | 0.85 | 0.1ms | 0円 | 3000件 |
| BERT | 0.92 | 10ms | 0円 | 500件 |
| LLM | 0.88 | 500ms | 2000円 | 0件 |

選定: BERT Fine-tuning（精度とコストの最適バランス）
フォールバック: LLM Zero-shot（確信度<0.7時）

■ パイプライン
入力 → 前処理(Janome) → BERT分類 → FAQ検索(SentenceTransformer)
→ 回答生成(RAG) → 品質チェック → 応答

■ エスカレーション
確信度<0.5, フラストレーション>=4, 法的キーワード, リピート3回以上
→ AI回答ドラフト付きで人間に引き継ぎ

=== 運用計画 ===

■ 品質評価
日次: LLM-as-Judge自動評価（5軸）
週次: CSATレビュー + 低品質回答分析
月次: 人間による100件サンプルレビュー

■ 導入スケジュール
Phase 1（1ヶ月）: モデル構築 + エージェント開発
Phase 2（2ヶ月）: シャドー運用（人間回答と並行）
Phase 3（3ヶ月）: パイロット導入（商品問合せカテゴリのみ）
Phase 4（4ヶ月）: 全カテゴリ展開

■ リスクと対策
| リスク | 対策 |
|--------|------|
| ハルシネーション | FAQ外は「確認します」と回答 |
| 感情的クレーム | 自動エスカレーション |
| モデル劣化 | 月次再学習 + ドリフト監視 |
| システム障害 | 人間対応へのフォールバック |

■ 改善ロードマップ
3ヶ月後: 全カテゴリ展開、CSAT 4.0達成
6ヶ月後: 多言語対応（英語）
9ヶ月後: チャットボットUI導入
12ヶ月後: 音声対応（コールセンター）