クイズの説明
Step 3「PoC検証」の理解度を確認します。PoC設計、成功基準、実行、評価について問います。
合格ライン: 80%（10問中8問正解）
問題
Q1. PoCの目的
PoCの主な目的として最も適切なものはどれですか？
- A. 本番環境での運用を開始すること
- B. 技術的実現可能性とビジネス効果の概算を検証すること
- C. 全社員にAIの操作方法を教育すること
- D. AIベンダーとの契約を締結すること
答えを見る
正解: B)
PoCは本格導入前に、技術的に実現可能か、期待するビジネス効果が得られそうかを限定的な範囲で検証するものです。本番運用（A）はパイロット以降、教育（C）はロールアウト段階、契約（D）はPoC結果を踏まえた判断後に行います。
Q2. PoCとパイロットの違い
PoCとパイロットの違いとして正しいものはどれですか？
- A. PoCはサンプルデータで実現可能性を検証し、パイロットは実データで運用可能性を検証する
- B. PoCは全社で実施し、パイロットは一部門で実施する
- C. PoCは6ヶ月、パイロットは1週間が標準期間である
- D. PoCとパイロットに違いはない
答えを見る
正解: A)
PoCは限定的なサンプルデータを使い、技術的に「できるかどうか」を2-4週間で検証します。パイロットは実データ・実業務で「使えるかどうか」を1-3ヶ月で検証します。PoCが成功してからパイロットに進むのが一般的な流れです。
Q3. 仮説の定義
PoC設計における仮説定義のアンチパターンはどれですか？
- A. 「AI-OCRで金額抽出精度95%以上を達成できる」
- B. 「AIで業務を改善する」
- C. 「LLMで配送状況の問い合わせに正答率90%で回答できる」
- D. 「感情分析で怒りの検出Recall 85%以上を達成できる」
答えを見る
正解: B)
「AIで業務を改善する」は抽象的すぎて、何をどの水準で検証するのか不明です。良い仮説は「何を」「どの指標で」「どの水準で」達成できるかを具体的に定義します。A、C、Dはいずれも検証対象と基準が明確です。
Q4. 成功基準の段階
成功基準の3段階（必達・目標・理想）における「必達基準」の意味はどれですか？
- A. これを満たせばプロジェクトは大成功
- B. これを満たさなければNo-Go判定
- C. 将来的に達成したい理想値
- D. 業界標準の平均値
答えを見る
正解: B)
必達基準（Must Have）は、この水準を下回る場合はプロジェクトの継続が困難であり、No-Go判定となる最低ラインです。目標基準がGo判定の標準ライン、理想基準は即座に本格展開できるレベルです。
Q5. 精度指標
AI分類モデルにおいて「偽陰性を減らしたい」場合に最も重視すべき指標はどれですか？
- A. Precision（適合率）
- B. Recall（再現率）
- C. Accuracy（正解率）
- D. F1スコア
答えを見る
正解: B)
Recall（再現率）は「実際に正解のもののうち、AIが正しく検出できた割合」です。偽陰性（見逃し）を減らしたい場合はRecallを重視します。Precision（適合率）は偽陽性（誤検出）を減らしたい場合に重視します。例えば、怒りの顧客を見逃さないようにしたい場合はRecallが重要です。
Q6. PoC評価
PoC評価の4ステップの正しい順序はどれですか？
- A. リスク評価 → 定性評価 → 定量評価 → 本番外挿
- B. 定量評価 → 定性評価 → 本番外挿 → リスク評価
- C. 本番外挿 → 定量評価 → リスク評価 → 定性評価
- D. 定性評価 → リスク評価 → 定量評価 → 本番外挿
答えを見る
正解: B)
PoC評価はまず客観的な数値を確認し（定量評価）、数値に表れない観察事項を整理し（定性評価）、限定環境の結果を本番規模に推計し（本番外挿）、リスクと対策を整理する（リスク評価）の順で行います。
Q7. 本番外挿
PoCの結果を本番環境に外挿する際に注意すべき点として最も適切なものはどれですか？
- A. PoCの精度がそのまま本番でも実現できると仮定してよい
- B. PoCのサンプルは本番データの一部であり、データの多様性を考慮して推計する必要がある
- C. 外挿は不要で、PoCの結果だけで判断すればよい
- D. 本番データは全てPoCサンプルと同じ特性を持つ
答えを見る
正解: B)
PoCは限定されたサンプルで行うため、本番環境ではデータの多様性（フォーマットの種類、文面のバリエーションなど）が増加します。PoCで使った定型データの精度がそのまま非定型データにも適用できるとは限らないため、慎重な外挿が必要です。
Q8. エラー分析
PoC結果のエラー分析で最も重要なことはどれですか？
- A. エラーの件数を報告すること
- B. エラーの原因を特定し、改善可能性を評価すること
- C. エラーが発生しないことを証明すること
- D. エラーの責任者を特定すること
答えを見る
正解: B)
エラー分析の目的は、なぜエラーが発生したのかを理解し、改善が可能かどうかを判断することです。「学習データ不足」「カテゴリ定義の曖昧さ」など原因を特定し、追加データや基準見直しで改善できるかを評価します。
Q9. 判定パターン
PoC結果が「必達基準は全て達成、目標基準の一部が未達」の場合、最も適切な判定はどれですか？
- A. Go（即座にパイロットへ）
- B. Conditional Go（条件付きでパイロットへ）
- C. No-Go（プロジェクト中止）
- D. 再PoC（同じ条件で再実施）
答えを見る
正解: B)
必達基準を全て達成しているため中止の必要はありませんが、目標基準の未達部分に改善策を講じる必要があります。Conditional Goとして、具体的な改善アクションと期限を設定した上でパイロットに移行するのが合理的です。
Q10. PoCのアンチパターン
PoCのアンチパターンとして最も深刻なものはどれですか？
- A. PoCの期間を3週間にすること
- B. 合格基準を定めずに「とりあえず試す」こと
- C. サンプルデータを200件にすること
- D. PoCチームを5名にすること
答えを見る
正解: B)
合格基準のないPoCは、終了しても「成功か失敗か分からない」状態になり、意思決定ができません。事前に仮説と合否基準を定義しておくことがPoC成功の大前提です。期間やサンプル数、チーム規模は状況に応じて柔軟に設定すれば問題ありません。
結果
合格（8問以上正解）
Step 3の内容をよく理解しています。PoC設計から評価まで、検証プロセス全体のスキルを身につけました。次のStep 4「ビジネスケース作成」に進みましょう。
不合格（7問以下正解）
Step 3の内容を復習しましょう。特に以下のポイントを重点的に確認してください：
- PoC設計 — 仮説定義、スコープ限定、5つの設計要素
- 成功基準 — 3段階の基準設定、精度指標の使い分け
- PoC評価 — 4ステップの評価、本番外挿の注意点
推定所要時間: 30分