ストーリー
田
田中VPoE
「フィージビリティ評価、PoC設計、Go/No-Go判断を学んだ。ここからは、NetShop社のFAQ自動回答チャットボットのPoC計画書を実際に作成してもらう。」
あなた
「これまで学んだフレームワークを全部使って作るんですね。」
あ
田
田中VPoE
「そうだ。この計画書が経営会議で承認されれば、いよいよPoCが始動する。説得力のある計画書を作ってくれ。」
あなた
「わかりました。目的、成功基準、データ準備、スケジュール、Go/No-Go基準まで盛り込みます。」
あ
ミッション概要
| 項目 | 内容 |
|---|
| 演習タイトル | FAQ自動回答チャットボットPoC計画書の作成 |
| 想定時間 | 60分 |
| 成果物 | PoC計画書(全7セクション) |
| 対象ユースケース | CS部 FAQ自動回答チャットボット |
Mission 1: PoC計画書のエグゼクティブサマリーを作成する
要件
- 背景と課題(3行以内)
- PoC の目的(何を検証するか)
- 期間と予算の概要
- 期待される成果
解答例
エグゼクティブサマリー
背景と課題: CS部は月間3万件の問い合わせに50名体制で対応しているが、うち40%(1.2万件)は定型質問である。残業が常態化し、オペレーターの離職率も上昇傾向にある。
PoC目的: RAGベースのAIチャットボットが定型質問に85%以上の正答率で自動回答でき、CS部の月間工数を400時間以上削減できることを実証する。
期間と予算: 12週間(3ヶ月)、予算300万円(PoC範囲のみ)
期待される成果:
- 技術的実現性の確認(正答率85%以上)
- ビジネス効果の定量化(工数削減400h/月の実証)
- 本番移行の判断材料の取得
Mission 2: 成功基準と撤退基準を設定する
要件
- 成功基準(Must/Wantの2段階で5項目以上)
- 撤退基準(3項目以上)
- 各基準の測定方法
解答例
成功基準
| 指標 | Must基準 | Want基準 | 測定方法 |
|---|
| 正答率 | 80%以上 | 90%以上 | CS部ベテラン3名による100件評価 |
| 自動回答率 | 30%以上 | 50%以上 | 自動回答数 / 問い合わせ総数 |
| 応答時間 | 10秒以内 | 5秒以内 | システムログのP95値 |
| 顧客満足度 | 現状比-5%以内 | 現状維持以上 | パイロット顧客アンケート |
| エスカレーション率 | 70%以下 | 50%以下 | 有人対応への転送率 |
| システム可用性 | 95%以上 | 99%以上 | 稼働時間 / 計測期間 |
撤退基準
| 条件 | 判断 | アクション |
|---|
| 4週目で正答率60%未満 | 即座にPoC中止を検討 | データ品質の根本的な問題を調査 |
| パイロット中に重大なクレーム3件以上 | AI回答を一時停止 | 原因分析後、対策実施して再開判断 |
| 8週目で自動回答率20%未満 | PoC延長または中止 | 技術アプローチの見直し |
Mission 3: PoCスケジュールと体制を設計する
要件
- 12週間のスケジュール(フェーズ・マイルストーン付き)
- 推進体制(役割と責任)
- 予算内訳(300万円の配分)
解答例
スケジュール
| 週 | フェーズ | 実施内容 | マイルストーン |
|---|
| W1 | データ準備 | FAQカテゴリの再分類、問い合わせログのクレンジング | カテゴリマスタ完成 |
| W2 | データ準備 | 評価用テストケース100件の作成、個人情報マスキング | テストデータセット完成 |
| W3 | 開発 | RAG基盤構築(ベクトルDB、LLM API連携) | RAGパイプライン稼働 |
| W4 | 開発 | チャットUI開発、Zendesk連携 | プロトタイプ完成 |
| W5 | 内部テスト | CS部ベテラン5名による操作テスト | テスト結果レポート |
| W6 | 改善 | テスト結果に基づくプロンプト改善、FAQ追加 | 改善版リリース |
| W7-8 | パイロット | 一部顧客(5%)に限定公開 | パイロットデータ収集 |
| W9 | 評価 | 成功基準との照合、定量評価 | 定量評価レポート |
| W10 | 評価 | 定性評価(ユーザーインタビュー、運用課題の整理) | 定性評価レポート |
| W11 | 報告準備 | PoC結果報告書の作成 | PoC報告書 |
| W12 | 判断 | Go/No-Go判断会議 | Go/No-Go判断書 |
推進体制
| 役割 | 担当者 | 工数 | 責任 |
|---|
| プロジェクトオーナー | 田中VPoE | 10% | 意思決定、経営層との窓口 |
| プロジェクトリーダー | AI推進チーム1名 | 100% | 全体統括、進捗管理 |
| AIエンジニア | 外部パートナー1名 | 100% | RAG構築、プロンプト設計 |
| データエンジニア | システム部ML経験者 | 50% | データ準備、API連携 |
| 業務アドバイザー | CS部ベテラン2名 | 20% | FAQ品質確認、テスト参加 |
| CS部長 | CS部長 | 5% | 業務判断、部門調整 |
予算内訳
| 項目 | 金額 | 内訳 |
|---|
| 外部パートナー費 | 150万円 | AIエンジニア1名 × 3ヶ月 × 50万円 |
| クラウドインフラ | 50万円 | GCPのベクトルDB、API利用料 |
| LLM API利用料 | 30万円 | OpenAI / Anthropic API利用 |
| データ整備ツール | 20万円 | アノテーションツール等 |
| テスト・評価費用 | 30万円 | テストユーザー謝礼、アンケート |
| 予備費 | 20万円 | 想定外の費用への備え |
| 合計 | 300万円 | |
達成度チェック
| 観点 | 達成基準 |
|---|
| エグゼクティブサマリー | 課題、目的、期間・予算、期待成果が簡潔にまとまっている |
| 成功基準 | Must/Wantの2段階で定量的に設定されている |
| 撤退基準 | 明確な条件とアクションが定義されている |
| スケジュール | 12週間でフェーズが適切に分割されている |
| 体制 | 役割と責任が明確で、必要なスキルが確保されている |
| 予算 | 300万円以内で現実的な配分になっている |
| 一貫性 | 目的→基準→計画が論理的に整合している |
推定所要時間: 60分