LESSON 30分

ストーリー

田
田中VPoE
「PoCの実行が終わった。次は最も重要なフェーズ、結果の評価だ。PoC結果をどう解釈し、どう次の意思決定につなげるかで、プロジェクト全体の方向性が決まる。」
あなた
「数値を見て基準を満たしているか確認するだけでは？」
あ
田
田中VPoE
「数値の確認はもちろんだが、それだけでは不十分だ。なぜその数値になったのか、本番環境ではどう変わるか、改善の余地はあるか、といった深い分析が必要になる。」

PoC評価の全体フレームワーク

評価の4ステップ

Step 1: 定量評価
  各指標の実績値と基準値を比較
      │
      ▼
Step 2: 定性評価
  数値では表れない観察事項を整理
      │
      ▼
Step 3: 本番外挿
  PoCの結果を本番規模に外挿して効果を推計
      │
      ▼
Step 4: リスク評価
  本番導入時のリスクと対策を整理

Step 1: 定量評価

成績表の作成

指標必達基準目標基準実績値判定
金額抽出精度90%95%96.5%目標達成
請求元名精度85%92%88.0%必達達成・目標未達
処理速度/件30秒10秒8.2秒目標達成
コスト/件500円200円180円目標達成
ユーザビリティSUS 60SUS 70SUS 65必達達成・目標未達

エラー分析

未達指標については、エラーのパターンを詳細に分析する。

エラーカテゴリ件数割合原因
手書き文字の誤認識15件42%フォント学習データ不足
レイアウト未対応10件28%非定型フォーマット
画質劣化7件19%FAX送信の低解像度
その他4件11%複合的な原因

Step 2: 定性評価

評価項目

観点確認事項NetShop社の例
ユーザー反応業務担当者のフィードバック「処理は速いが、UIが分かりにくい」
予想外の発見想定していなかった課題や効果「旧取引先の請求書フォーマットが30種以上」
技術的課題精度以外の技術的な問題「APIのレート制限で月末集中処理に懸念」
データ品質入力データの品質問題「スキャン品質にばらつきが大きい」

Step 3: 本番外挿

サンプルから全体への推計

PoC条件:
  サンプル数: 200件（上位20社の定型フォーマット）
  精度: 96.5%（金額抽出）

本番条件:
  月間処理数: 3,000件
  取引先数: 120社
  フォーマット種類: 推定50種以上

本番推計:
  定型フォーマット（60%）: 精度96% → 月1,800件のうち72件要レビュー
  非定型フォーマット（40%）: 精度推定80% → 月1,200件のうち240件要レビュー
  全体: 月312件の人間レビュー（レビュー率10.4%）

ROI推計の修正

項目PoC前の想定PoC後の修正差異
自動処理率80%70%-10%
年間コスト削減3,200万円2,400万円-800万円
導入コスト5,000万円6,500万円+1,500万円
投資回収期間19ヶ月33ヶ月+14ヶ月

Step 4: リスク評価

リスクマトリクス

リスク影響度発生確率対策
非定型フォーマットの精度不足高高フォーマット標準化を仕入先に依頼
月末集中処理の性能問題中中スケーリング対応のインフラ設計
ユーザビリティの低さ中高UI/UXの改善、トレーニング強化
データ品質のばらつき中高スキャナの設定標準化

PoC評価レポートの構成

レポートテンプレート

セクション内容
1. エグゼクティブサマリー結論と推奨アクションを最初に
2. PoC概要目的、スコープ、期間、チーム
3. 検証結果定量評価の成績表
4. エラー分析未達項目の原因と改善策
5. 本番外挿全社展開時の効果推計
6. リスクと対策特定されたリスクと対策案
7. 投資対効果修正後のROI推計
8. 推奨アクションGo/No-Go判定と次のステップ

まとめ

項目ポイント
4ステップ評価定量→定性→本番外挿→リスク評価の順で総合判断
エラー分析未達項目の原因を分類し、改善可能性を評価
本番外挿PoCの限定条件から本番規模への適切な推計
評価レポートエグゼクティブサマリーで結論を先に示す

チェックリスト

  • PoC評価の4ステップを理解した
  • エラー分析の手法を把握した
  • サンプルから本番への外挿方法を理解した
  • PoC評価レポートの構成を把握した

次のステップへ

次は「演習」として、実際のPoC結果データを基に評価レポートを作成してみよう。

推定読了時間: 30分