ストーリー
田
田中VPoE
「準備が整ったら、いよいよPoCの実行だ。ここでの進め方が、結果の信頼性を大きく左右する。」
あなた
「実行中に気をつけるべきことは何ですか？」
あ
田
田中VPoE
「3つある。進捗管理、課題の記録、そして結果の評価だ。特に課題の記録は重要で、うまくいかなかったことこそ本番展開時の重要な情報になる。」
あなた
「失敗も記録するんですね。」
あ
田
田中VPoE
「そうだ。PoCの目的は『成功させること』ではなく『判断材料を得ること』だ。想定通りいかなかったことも含めて、正直に記録する。それが信頼されるPoCになる。」
PoC実行の進捗管理
デイリーチェックポイント
PoCは期間が短い（2-4週間）ため、日次での進捗管理が重要です。
| チェック項目 | 確認頻度 | 担当 |
|---|---|---|
| システムの稼働状況 | 毎日 | エンジニア |
| データの入出力状況 | 毎日 | データエンジニア |
| テストケースの消化状況 | 毎日 | PM |
| 発見された課題 | 毎日 | 全員 |
| 品質メトリクスの推移 | 毎日 | ML エンジニア |
ウィークリーレビュー
| 週 | レビュー内容 | 参加者 |
|---|---|---|
| Week 1 | 環境・データの準備状況確認 | PoCチーム |
| Week 2 | 中間結果の共有、方向性の調整 | PoCチーム + スポンサー |
| Week 3 | 結果の傾向分析、追加テストの判断 | PoCチーム |
| Week 4 | 最終結果のまとめ、報告書ドラフトレビュー | PoCチーム + スポンサー |
Go/No-Go判断ポイント
PoCの途中で、以下の状況が発生した場合は中止を検討します。
| 判断ポイント | 中止条件 | 対応 |
|---|---|---|
| Week 1終了時 | 環境/データの準備が完了しない | スケジュール延長 or 中止 |
| Week 2終了時 | MUST基準に遠く及ばない結果 | アプローチ変更 or 中止 |
| 随時 | セキュリティインシデント発生 | 即時中止、インシデント対応 |
課題記録の方法
課題管理テンプレート
| ID | 発見日 | カテゴリ | 内容 | 影響度 | 対応状況 | 対応策 |
|---|---|---|---|---|---|---|
| I-001 | 3/1 | データ | FAQ未整備のカテゴリが存在 | 中 | 対応済 | 該当カテゴリを手動で追加 |
| I-002 | 3/3 | 精度 | 長文の問い合わせで精度低下 | 高 | 調査中 | プロンプト改善を検討 |
| I-003 | 3/5 | 運用 | ユーザーがAI回答を信頼しすぎる | 中 | 対応中 | 信頼度表示を追加 |
カテゴリ分類
| カテゴリ | 具体例 |
|---|---|
| データ品質 | 欠損データ、ノイズ、バイアス |
| モデル精度 | 特定パターンでの誤回答、ハルシネーション |
| パフォーマンス | 応答時間の遅延、タイムアウト |
| ユーザビリティ | 操作の分かりにくさ、期待とのギャップ |
| 運用 | 監視、エスカレーション、例外処理 |
| セキュリティ | データ漏洩リスク、不適切な回答 |
結果分析の方法
定量評価
技術メトリクスの評価
| メトリクス | 測定方法 | 成功基準 | 実績 | 判定 |
|---|---|---|---|---|
| 正答率 | テストデータでの評価 | 80%以上 | 85% | 合格 |
| 応答時間 | 平均レスポンスタイム | 3秒以内 | 1.2秒 | 合格 |
| 可用性 | 稼働率 | 99%以上 | 99.5% | 合格 |
| AI対応率 | 自動対応できた割合 | 50%以上 | 58% | 合格 |
ビジネスメトリクスの評価
| メトリクス | ベースライン | 目標 | 実績 | 改善率 |
|---|---|---|---|---|
| 1件あたり対応時間 | 15分 | 10分以下 | 8分 | 47%改善 |
| 初回解決率 | 65% | 75%以上 | 78% | 20%改善 |
| 顧客満足度(CSAT) | 3.5/5.0 | 4.0/5.0 | 3.9/5.0 | 11%改善 |
| 対応コスト/件 | 750円 | 500円以下 | 480円 | 36%改善 |
定性評価
定量データだけでなく、定性的なフィードバックも重要です。
ユーザーインタビュー（CS担当者）
| 質問 | 回答例 |
|---|---|
| AIの回答品質はどうか | 「8割は正確。残り2割は微妙だが、たたき台としては十分」 |
| 業務負荷は軽減されたか | 「定型的な質問の対応が減り、複雑な案件に集中できるようになった」 |
| 改善してほしい点は | 「返品ポリシーの例外ケースで間違えることがある」 |
| 本番展開に賛成か | 「改善を加えた上でなら賛成」 |
ユーザーアンケート集計
| 評価項目 | 5段階平均 | コメント要約 |
|---|---|---|
| 使いやすさ | 4.2 | 直感的で使いやすい |
| 回答の正確さ | 3.8 | 概ね正確だが例外ケースに弱い |
| 業務効率への貢献 | 4.0 | 確実に効率が上がった |
| 継続利用意向 | 4.3 | ぜひ使い続けたい |
結果からビジネスケースへの接続
PoC結果のビジネスインパクト換算
PoC実績: 対応時間47%削減、AI対応率58%
年間効果への換算:
月間10,000件 × AI対応率58% × 時間削減47%
= 月間対応時間 2,500h → 1,382h（1,118h削減）
年間削減: 1,118h × 12ヶ月 = 13,416h
金額換算: 13,416h × 3,000円 = 4,025万円/年
注意: PoCは限定環境のため、本番展開では効率が10-20%低下すると想定
保守的見積: 4,025万円 × 80% = 3,220万円/年PoC結果の信頼区間
PoCは小規模なサンプルで行うため、結果には統計的な不確実性があります。
| 指標 | PoC実績 | 信頼区間（95%） | 保守的推定 |
|---|---|---|---|
| AI対応率 | 58% | 50-66% | 50% |
| 対応時間削減率 | 47% | 38-56% | 38% |
| 正答率 | 85% | 79-91% | 79% |
まとめ
- PoC実行中は日次の進捗管理と課題記録を徹底する
- 課題は6カテゴリ（データ/精度/パフォーマンス/ユーザビリティ/運用/セキュリティ）で整理
- 結果分析は定量（技術/ビジネスメトリクス）と定性（インタビュー/アンケート）の両面で行う
- PoC結果をビジネスインパクトに換算する際は、保守的な推定値を使う
次のステップへ
PoC実行と結果分析を学びました。次は、これらの結果を取りまとめる「PoC報告書」の作成方法を学びます。
推定読了時間: 30分