演習：エージェント評価改善計画を策定しよう

=== 品質評価体制 ===

■ 自動評価
- LLM-as-Judge: 全回答の5軸評価を日次で実行
- 閾値: 各軸3.5点未満をフラグ
- サンプルレビュー: フラグ付き回答の10%を人間が再評価

■ モニタリング指標
| 指標 | 目標 | チェック頻度 |
|------|------|-------------|
| 平均品質スコア | >= 4.0/5.0 | 日次 |
| 低品質回答率 | <= 5% | 日次 |
| ハルシネーション率 | <= 1% | 週次 |
| CSAT | >= 4.0 | 週次 |

=== CSAT改善計画 ===

■ 現状分析
CSAT 3.5 → 目標 4.0
低スコアの主因: 回答の網羅性不足（42%）、対応遅延（28%）

■ アクション
1. FAQ拡充: 低スコア回答のカテゴリでFAQを30件追加
2. プロンプト改善: 網羅性チェックを回答生成プロンプトに追加
3. 応答速度: キャッシュ導入で平均3秒→1秒に短縮
4. エスカレーション: 怒りの検知精度向上

■ KPI
- 1ヶ月後: CSAT 3.7
- 2ヶ月後: CSAT 3.9
- 3ヶ月後: CSAT 4.0

=== エスカレーション最適化 ===

■ 現状
エスカレーション率: 25%、不要エスカレ率: 40%、見逃し率: 5%

■ 最適化
- 確信度閾値: 0.5 → 0.4（見逃し削減）
- フラストレーション閾値: 4 → 3（安全側）
- ルール追加: 金額10万円以上、法的キーワード

■ 目標
- エスカレーション率: 25% → 18%
- 不要エスカレ率: 40% → 15%
- 見逃し率: 5% → 2%

■ 検証
2週間のシャドー運用で効果を検証後、本番適用