ストーリー
田
田中VPoE
「RPA×AI統合、承認フロー、テスト戦略、ロールアウト計画と、実装・展開に必要な知識を一通り学んだ。ここで実際にNetShop社のCS部門（問い合わせ対応）を題材に、実装から展開までの計画を策定してみよう。」
あなた
「経理部の請求書処理は例で学んだので、CS部門を自分で設計してみます。」
あ
田
田中VPoE
「その意気だ。CS部門はAIチャットボットの導入が中心になる。技術的なテスト戦略だけでなく、顧客体験への影響も考慮して計画を立ててくれ。」
ミッション概要
| 項目 | 内容 |
|---|---|
| 演習タイトル | NetShop社 CS部門のAI導入 実装・展開計画の策定 |
| 想定時間 | 90分 |
| 成果物 | テスト計画書 + ロールアウト計画書 + Go/No-Go基準 |
前提条件
CS部門の現状
対応体制:
一次対応チーム: 30名
二次対応チーム: 12名
月間問い合わせ: 30,000件
一次解決率: 55%
AI導入計画:
- AIチャットボット（FAQ自動回答）
- 問い合わせ自動分類（カテゴリ判定）
- 対応記録の自動生成
- 感情分析によるエスカレーション支援
目標:
- AI自動回答率: 40%
- 一次解決率: 80%
- 平均応答時間: 50%短縮
- 顧客満足度(CSAT): 3.2 → 4.0Mission 1: テスト計画の策定
要件
以下の観点でCS部門のAI導入テスト計画を作成してください。
- AIモデルテスト: チャットボットの回答精度、分類精度、感情分析精度
- 統合テスト: 既存CSシステムとの連携
- 業務シナリオテスト: 正常系・異常系の網羅
- UAT計画: 現場担当者による受入テスト
解答例
AIモデルテスト
| テスト項目 | テスト内容 | 合格基準 |
|---|---|---|
| FAQ回答精度 | 500件のテスト質問に対する正答率 | 正答率90%以上 |
| カテゴリ分類精度 | 1,000件の過去問い合わせの分類 | F1スコア0.92以上 |
| 感情分析精度 | 300件の感情ラベル付きデータ | 精度85%以上 |
| 回答の自然さ | 専門家による50件の回答品質評価 | 4.0/5.0以上 |
| 応答時間 | 1,000件連続リクエスト | 95%ile 3秒以内 |
統合テスト
| テスト項目 | テスト内容 | 合格基準 |
|---|---|---|
| CRM連携 | 顧客情報の自動取得 | エラー率0% |
| チケットシステム連携 | 自動チケット作成・更新 | データ整合性100% |
| エスカレーション連携 | 人間担当者への転送 | 転送成功率100% |
| ログ記録 | 全対話ログの保存 | 欠損率0% |
業務シナリオテスト
| シナリオ | 内容 | 確認ポイント |
|---|---|---|
| 配送状況確認 | 「注文した商品はいつ届きますか？」 | 注文番号の確認→配送情報の提示 |
| 返品手続き | 「商品を返品したい」 | 返品ポリシーの説明→手続き案内 |
| AIで回答不可 | 複雑なクレーム | 適切にエスカレーション |
| 怒りの顧客 | 感情的な問い合わせ | 感情検知→即座に人間転送 |
| システム障害 | AIサービスダウン | 「担当者におつなぎします」表示 |
UAT計画
| 項目 | 内容 |
|---|---|
| 参加者 | 一次対応5名 + 二次対応2名 + リーダー1名 |
| 期間 | 2週間 |
| テストケース | 実際の問い合わせログから200件抽出 |
| 評価方法 | AI回答の妥当性を5段階評価 + 自由記述 |
| 合格基準 | 平均評価4.0以上 + 重大問題ゼロ |
Mission 2: ロールアウト計画の策定
要件
CS部門のAI導入を段階的に展開する計画を作成してください。
- フェーズ分け: 4段階の展開計画
- 各フェーズの詳細: 対象、期間、目標、トレーニング内容
- 並行運用の設計: Shadow Modeからの段階的移行
- コミュニケーション計画: 顧客向け・社内向け
解答例
ロールアウト計画
| フェーズ | 期間 | 対象 | 内容 |
|---|---|---|---|
| Phase 1 | Week 1-4 | チャット問い合わせのみ | AIチャットボット導入（Shadow Mode） |
| Phase 2 | Week 5-8 | チャット本番運用開始 | AI自動回答開始（配送状況のみ） |
| Phase 3 | Week 9-12 | チャット＋メール | 対象カテゴリ拡大（返品、商品質問） |
| Phase 4 | Week 13-16 | 全チャネル | 全カテゴリでのAI活用 |
Phase 1の詳細
| 項目 | 内容 |
|---|---|
| 対象 | チャットチャネル（月7,500件） |
| 運用方式 | Shadow Mode（AIが回答案を作成、人間が確認・送信） |
| トレーニング | AI回答のレビュー方法、フィードバック入力の操作研修（1日） |
| KPI | AIの回答採用率50%以上、応答時間変化なし |
| 移行条件 | AI回答採用率60%以上 + 2週間の安定運用 |
顧客向けコミュニケーション
| タイミング | 内容 | 手段 |
|---|---|---|
| Phase 2開始前 | AIチャットサポート開始のお知らせ | メール、サイト告知 |
| Phase 2開始時 | チャット画面に「AI回答」の表示 | UI変更 |
| 随時 | 「担当者に相談する」ボタンの常時表示 | UI設計 |
Mission 3: Go/No-Go基準の策定
要件
各フェーズの移行判定基準を設計してください。
- 定量基準: KPIベースの判定基準
- 定性基準: ユーザーフィードバックベースの判定基準
- No-Go時の対応: 改善策とスケジュール調整
解答例
Phase 1→Phase 2 の Go/No-Go基準
| 観点 | Go条件 | No-Go条件 |
|---|---|---|
| AI回答採用率 | 60%以上 | 40%未満 |
| 回答品質評価 | 4.0/5以上 | 3.0/5未満 |
| 応答時間 | 悪化なし | 20%以上悪化 |
| 重大エラー | ゼロ | 3件以上 |
| 担当者満足度 | 3.5/5以上 | 2.5/5未満 |
No-Go時の対応フロー
No-Go判定
│
├── AI精度問題 → モデル再学習（2週間）→ 再テスト
├── システム問題 → バグ修正（1-2週間）→ 再テスト
├── ユーザー受容性 → 追加トレーニング（1週間）→ 再評価
└── 顧客影響 → プロセス見直し（2-3週間）→ 再設計エスカレーション基準
| レベル | 条件 | 報告先 |
|---|---|---|
| L1 | KPI未達だが改善傾向 | プロジェクトリーダー |
| L2 | 2回連続No-Go | 部門長 + IT部長 |
| L3 | 顧客クレーム発生 | 経営層 |
達成度チェック
| 観点 | 達成基準 |
|---|---|
| テスト計画 | AIモデル・統合・E2E・UATの全層が設計されている |
| ロールアウト計画 | 段階的展開の各フェーズが具体的に定義されている |
| Go/No-Go基準 | 定量・定性の両面で判定基準が明確である |
| 顧客視点 | 顧客体験への影響が考慮されている |
| 実行可能性 | スケジュール・リソースが現実的である |
推定所要時間: 90分