クイズの説明
Step 4で学んだプロンプトの評価と最適化に関するクイズです。全5問で、80%以上（4問以上正解）で合格です。
Q1: プロンプト評価の4つの軸として正しい組み合わせはどれですか？
- A) 正確性・速度・美しさ・創造性
- B) 正確性・一貫性・安全性・コスト効率
- C) 精度・再現率・F1スコア・AUC
- D) 入力品質・出力品質・レイテンシ・スループット
答えを見る
正解: B)
プロンプト評価の4つの軸は「正確性（Accuracy）」「一貫性（Consistency）」「安全性（Safety）」「コスト効率（Cost Efficiency）」です。C)は機械学習モデルの評価指標であり、プロンプト評価とは異なります。
Q2: A/Bテストにおいて、統計的有意性を確保するために最低限必要なテストケース数の目安はどれですか？
- A) 5件
- B) 10件
- C) 30件
- D) 1000件
答えを見る
正解: C)
統計的有意性を確保するためには、最低30件のテストケースが推奨されます。5-10件ではサンプル数が不足して偶然の結果を排除できず、1000件は多くの場合オーバーヘッドが大きすぎます。30件を難易度別（Easy/Medium/Hard各10件）に分配するのが実用的です。
Q3: プロンプトのセマンティックバージョニングで「v1.2.0 → v2.0.0」にMajorバージョンを上げるべきケースはどれですか？
- A) 誤字を修正した
- B) Few-shotの例を1件追加した
- C) 出力形式をJSON形式からMarkdown形式に変更した
- D) 禁止事項に1項目追加した
答えを見る
正解: C)
Majorバージョンの変更は、出力形式や動作が大幅に変わるBreaking Changeに適用します。JSON形式からMarkdown形式への変更は、出力を処理するパーサーの更新が必要な破壊的変更です。誤字修正はPATCH、例の追加や禁止事項追加はMINORに該当します。
Q4: LLM APIのコスト最適化において、最も効果が大きい施策の組み合わせはどれですか？
- A) 温度パラメータを下げる + max_tokensを増やす
- B) タスク複雑度に応じたモデルルーティング + FAQキャッシュ
- C) プロンプトを英語で書く + Few-shotの例を増やす
- D) 全リクエストで最高性能モデルを使用 + トークン数制限なし
答えを見る
正解: B)
コスト最適化で最も効果が大きいのは「モデルルーティング」と「キャッシュ」の組み合わせです。単純なタスクを軽量モデルに回すことでコストを大幅削減し、定型回答のキャッシュでAPI呼び出し自体を削減します。温度パラメータの変更やmax_tokensの増加はコスト最適化には直結しません。
Q5: プロンプトのロールバック戦略において、段階的ロールアウト（カナリアデプロイ）の正しい手順はどれですか？
- A) 100%のトラフィックに一気に適用し、問題があれば全戻し
- B) 5%→25%→50%→100%と段階的に新バージョンの適用率を上げ、各段階で品質指標を監視
- C) テスト環境でのみ実行し、本番には適用しない
- D) 旧バージョンを即座に削除し、新バージョンのみを保持
答えを見る
正解: B)
段階的ロールアウトでは、少数のトラフィック（5%）から新バージョンを適用開始し、品質指標（正確性、安全性等）を監視しながら段階的に適用率を上げます。問題が検出された段階で即座にロールバック可能です。一気に100%適用や旧バージョンの即削除はリスクが高い手法です。
結果
合格（80%以上）
おめでとうございます。プロンプトの評価・最適化・運用管理のスキルが身についています。Step 5では業務別のプロンプトテンプレート構築に進みましょう。
不合格（80%未満）
以下のステップを復習してから再挑戦してください。
- Q1を間違えた場合 → Step 4-1「プロンプト評価指標」を復習
- Q2を間違えた場合 → Step 4-2「A/Bテストとプロンプト改善」を復習
- Q3を間違えた場合 → Step 4-3「プロンプトバージョニング」を復習
- Q4を間違えた場合 → Step 4-4「コスト最適化」を復習
- Q5を間違えた場合 → Step 4-3「プロンプトバージョニング」のロールバック戦略を復習
推定所要時間: 30分