クイズの説明
Month 1「プロンプトエンジニアリングを極めよう」の最終クイズです。全10問で、80%以上（8問以上正解）で合格です。Step 1からStep 5までの全範囲から出題されます。
Q1: プロンプトの4つの構成要素を正しい順序で並べたものはどれですか？
- A) 出力形式 → 入力データ → 指示 → コンテキスト
- B) 指示 → コンテキスト → 入力データ → 出力形式
- C) コンテキスト → 指示 → 出力形式 → 入力データ
- D) 入力データ → 出力形式 → コンテキスト → 指示
答えを見る
正解: B)
プロンプトの基本構造は「指示（Instruction）」→「コンテキスト（Context）」→「入力データ（Input）」→「出力形式（Output Format）」の順です。まず何をしてほしいかを指示し、背景情報を与え、処理対象データを示し、期待する出力の形式を指定します。
Q2: 以下のタスクのうち、Few-shotプロンプティングが最も適しているのはどれですか？
- A) 英語テキストの日本語翻訳
- B) 社内独自の5段階評価基準でのチケット分類
- C) 四則演算の計算
- D) テキストの感情分析（ポジティブ/ネガティブ）
答えを見る
正解: B)
Few-shotプロンプティングは、LLMが事前学習で知らない独自の基準やフォーマットを伝える必要がある場合に最も有効です。社内独自の5段階評価基準はLLMが知らないため、例を示す必要があります。翻訳、計算、基本的な感情分析はZero-shotで十分対応できます。
Q3: ReActパターンとChain of Thought（CoT）の最大の違いは何ですか？
- A) CoTの方がトークン消費が多い
- B) ReActは外部ツールやAPIとのインタラクション（Action）を含む
- C) CoTの方が精度が高い
- D) ReActは複数回の推論を統合する
答えを見る
正解: B)
CoTはLLMの内部での推論過程（Thought）のみですが、ReActはThought（推論）に加えてAction（外部ツール/APIの利用）とObservation（結果の観察）のサイクルを含みます。外部データの取得や操作が必要なタスクにはReActが適しています。
Q4: システムプロンプトのコンテキストウィンドウ内で、LLMが最も注意を払いにくい位置はどこですか？
- A) 先頭（システムプロンプトの冒頭）
- B) 中間部分
- C) 末尾（ユーザーの最新入力付近）
- D) 全ての位置で均等に注意を払う
答えを見る
正解: B)
LLMには「Lost in the Middle」と呼ばれる現象があり、コンテキストの先頭と末尾の情報を重視し、中間部分の情報を軽視する傾向があります。重要な制約やルールはシステムプロンプトの先頭（常に読まれる）か末尾付近に配置することが推奨されます。
Q5: プロンプトのA/Bテストで統計的有意性を確保するために推奨されるテストケース数は？
- A) 5件
- B) 10件
- C) 30件以上
- D) 1000件以上
答えを見る
正解: C)
統計的有意性を確保するには最低30件のテストケースが推奨されます。30件を難易度別（Easy/Medium/Hard各10件）に分配し、各テストケースを複数回（3回推奨）実行して分散も測定します。5-10件ではサンプル不足で偶然の結果を排除できません。
Q6: プロンプトのセマンティックバージョニングで、出力形式をJSONからCSVに変更した場合の正しいバージョン更新はどれですか？
- A) v1.0.0 → v1.0.1（PATCH）
- B) v1.0.0 → v1.1.0（MINOR）
- C) v1.0.0 → v2.0.0（MAJOR）
- D) バージョンを更新する必要はない
答えを見る
正解: C)
出力形式の変更（JSON→CSV）はBreaking Changeです。出力を処理するパーサーやダウンストリームのシステムが影響を受けるため、MAJORバージョンを上げます。PATCHは誤字修正等、MINORは後方互換性のある追加・改善に使用します。
Q7: LLM APIのコスト最適化において、最もコスト削減効果が大きい施策はどれですか？
- A) システムプロンプトの文字数を10%削減する
- B) 全リクエストの温度パラメータを0.0にする
- C) タスク複雑度に応じたモデルルーティング（単純タスクに軽量モデルを使用）
- D) Few-shotの例を1つ減らす
答えを見る
正解: C)
モデルルーティングは最もコスト削減効果が大きい施策です。例えばFAQ応答（全体の60%）を高性能モデルから軽量モデルに切り替えることで、そのリクエスト群のコストを75%以上削減できます。プロンプトの微調整や温度変更は限定的な効果しかありません。
Q8: コードレビュープロンプトで、セキュリティチェック観点を最優先にする理由として最も適切なものは？
- A) セキュリティの問題が最も多く発見されるから
- B) セキュリティリスクは情報漏洩やサービス停止など、ビジネスインパクトが最大だから
- C) セキュリティの修正が最も簡単だから
- D) 他の観点はLLMが自動で対処するから
答えを見る
正解: B)
セキュリティの脆弱性（SQLインジェクション、XSS、認証不備等）は、情報漏洩、サービス停止、法的責任など重大なビジネスインパクトを持ちます。発見頻度ではなく影響度の大きさが優先順位の根拠です。リスクベースアプローチとして、影響度が最大の観点を最優先にします。
Q9: ハルシネーション（幻覚）を防止するための最も効果的なプロンプト設計は？
- A) 温度パラメータを0.0に設定し、max_tokensを最小にする
- B) 「参照データ[REF]のみに基づいて回答し、[REF]にない情報は『不明』と回答する」と指示する
- C) Few-shotの例を10個以上含める
- D) 出力を全てJSON形式に限定する
答えを見る
正解: B)
ハルシネーション防止の最も効果的な方法は、LLMが「情報を生成する」のではなく「参照データから抽出する」モードで動作するよう明示的に指示することです。参照データがない場合の処理（「不明」「確認します」）も定義することで、推測による不正確な回答を防ぎます。温度やJSON形式はハルシネーション防止には間接的な効果しかありません。
Q10: NetShop社でAIカスタマーサポートを本番運用する際、以下のKPIのうち最も重要度が高いものはどれですか？
- A) 平均応答文字数
- B) AIが使用するトークン数
- C) 安全性テスト通過率（ハルシネーション、プロンプトインジェクション防止）
- D) 1リクエストあたりのAPI応答時間
答えを見る
正解: C)
本番運用において最も重要なKPIは安全性テスト通過率です。ハルシネーション（虚偽情報の生成）やプロンプトインジェクション（システムの乗っ取り）は、顧客への誤案内、ブランドの信頼低下、法的リスクに直結します。応答時間やコストも重要ですが、安全性が確保されていなければサービスの継続自体が困難になります。安全性は「必須条件」、他は「最適化対象」です。
結果
合格（80%以上）
おめでとうございます。プロンプトエンジニアリングの体系的な知識を習得し、実務で活用できるレベルに達しています。
Month 1の学習成果:
- プロンプトの基本テクニック（Zero-shot、Few-shot、出力制御）を習得
- 高度なテクニック（CoT、ReAct、Self-Consistency、メタプロンプティング）を理解
- システムプロンプトの設計（ペルソナ、制約、コンテキスト管理）ができる
- プロンプトの評価・最適化・運用管理ができる
- 業務別テンプレートを構築できる
次のステップでは、これらのスキルを実際のプロジェクトで活用していきましょう。
不合格（80%未満）
以下の分野別に復習してから再挑戦してください。
| 問題 | 対応Step |
|---|---|
| Q1-Q2 | Step 1: プロンプトエンジニアリングの基礎 |
| Q3 | Step 2: 高度なプロンプト技法 |
| Q4 | Step 3: システムプロンプト設計（コンテキスト管理） |
| Q5-Q6 | Step 4: 評価と最適化（A/Bテスト、バージョニング） |
| Q7 | Step 4: コスト最適化 |
| Q8 | Step 5: コードレビュープロンプト |
| Q9 | Step 3 + Step 5: ハルシネーション防止 |
| Q10 | Step 4 + 総合: 本番運用のKPI |
推定所要時間: 30分