LESSON 30分

ストーリー

田
田中VPoE
「PoC設計の基本を学んだ。次はPoCの成功基準を具体的に設計する。曖昧な基準では、PoCが終わっても『成功だったのか失敗だったのか分からない』という事態に陥る。」
あなた
「精度が高ければ成功、ではダメですか？」
あ
田
田中VPoE
「『高い』とは何%のことだ？ 90%か、95%か、99%か。そして精度だけでなく、処理速度、コスト、ユーザビリティなど、複数の観点で判断する必要がある。」

成功基準の設計フレームワーク

3つの評価軸

評価軸説明指標例
技術的実現性AIが技術的に要求水準を満たすか精度、処理速度、安定性
ビジネス効果期待するビジネス成果が得られるかコスト削減見込み、時間短縮
運用可能性実際の業務で運用できるかユーザビリティ、保守性

各軸の具体的指標

技術的実現性

指標定義測定方法
精度（Accuracy）正解数 / 全体数テストデータでの正解率
適合率（Precision）正解数 / AI予測数偽陽性の少なさ
再現率（Recall）正解数 / 実際の正解数見逃しの少なさ
F1スコア適合率と再現率の調和平均総合的な精度指標
処理速度1件あたりの処理時間平均・95%ile・最大

ビジネス効果

指標定義測定方法
処理時間削減率(As-Is時間 - To-Be時間) / As-Is時間同一タスクの処理時間比較
コスト削減見込みPoC結果からの年間削減額推計サンプルからの外挿計算
品質向上エラー率の変化PoC期間中のエラー計測

運用可能性

指標定義測定方法
ユーザビリティ操作の容易さSUSスコア（68点以上）
業務適合性既存業務フローとの整合性業務担当者の評価
保守性モデル更新の容易さ再学習にかかる工数

成功基準の段階設定

3段階の判定基準

必達基準（Must Have）
  これを満たさなければ No-Go
  例: 精度90%以上、処理時間30秒以内
      │
      ▼
目標基準（Should Have）
  これを満たせばGo判定
  例: 精度95%以上、処理時間10秒以内
      │
      ▼
理想基準（Nice to Have）
  これを満たせば即座に本格展開
  例: 精度98%以上、処理時間3秒以内

NetShop社 請求書AI-OCR PoCの成功基準

指標必達基準目標基準理想基準
金額抽出精度90%95%98%
請求元名精度85%92%97%
処理速度/件30秒以内10秒以内3秒以内
同時処理数10件50件100件
コスト/件500円以下200円以下50円以下
ユーザビリティSUS 60以上SUS 70以上SUS 80以上

判定プロセス

PoC判定会議のアジェンダ

議題時間内容
検証結果の報告20分各指標の実績値と達成状況
課題の共有15分検証中に発見された課題と対策案
ビジネスインパクト推計15分PoC結果から本番導入時の効果を推計
Go/No-Go判定10分基準に基づく判定と次のアクション

判定結果のパターン

パターン条件アクション
Go目標基準を全て達成パイロット準備に移行
Conditional Go必達基準は達成、目標基準の一部未達改善策を講じてパイロットへ
Pivot必達基準の一部未達だが改善の見込みありスコープや技術を変更して再PoC
No-Go必達基準の大半が未達プロジェクト中止 or 大幅見直し

まとめ

項目ポイント
3つの評価軸技術的実現性、ビジネス効果、運用可能性
段階設定必達・目標・理想の3段階で基準を設定
定量化全ての基準を数値で定義し、曖昧さを排除
判定プロセスGo / Conditional Go / Pivot / No-Go の4パターン

チェックリスト

  • 成功基準の3つの評価軸を理解した
  • 必達・目標・理想の3段階で基準を設計できる
  • 精度指標（Precision, Recall, F1）の違いを説明できる
  • 判定結果の4パターンを理解した

次のステップへ

次は「PoC実行と結果分析」として、実際のPoC実施手順と結果の分析方法を学ぼう。

推定読了時間: 30分