クイズの説明
Step 2で学んだ高度なプロンプト技法に関するクイズです。全5問で、80%以上（4問以上正解）で合格です。
Q1: Chain of Thought（CoT）推論の主な効果として最も適切なものはどれですか？
- A) LLMの処理速度が向上する
- B) トークン消費量が削減される
- C) 複雑な推論タスクの精度が向上し、推論過程が可視化される
- D) モデルのファインチューニングが不要になる
答えを見る
正解: C)
CoTの主な効果は、LLMに中間的な推論ステップを明示的に生成させることで、複雑なタスクの精度を向上させることです。また、推論過程が可視化されるため、エラーの検出や説明可能性も向上します。CoTはむしろトークン消費を増加させます。
Q2: ReActパターンの「Thought → Action → Observation」サイクルにおいて、「Action」に該当するものはどれですか？
- A) 問題について仮説を立てる
- B) 外部ツールやAPIを使って情報を取得する
- C) 取得した情報を分析する
- D) 最終回答を出力する
答えを見る
正解: B)
ReActパターンでは、Thoughtは推論・仮説立て、Actionは外部ツールやAPIを使った情報取得や操作の実行、Observationは行動の結果の観察です。CoTとの最大の違いは、このAction（外部ツールとのインタラクション）があることです。
Q3: Self-Consistencyで5回の推論を実行し、回答が「A, A, B, A, B」だった場合、最終回答と信頼度はどうなりますか？
- A) 最終回答: A、信頼度: 非常に高い（100%）
- B) 最終回答: A、信頼度: 中程度（60%）
- C) 最終回答: B、信頼度: 低い（40%）
- D) 判定不能のためプロンプトの改善が必要
答えを見る
正解: B)
多数決でAが3/5=60%で最終回答になります。ただし一致率60%は中程度の信頼度であり、追加検証を推奨します。80%以上なら高い信頼度、40%以下なら低い信頼度としてプロンプトの改善を検討すべきです。
Q4: Tree of Thoughts（ToT）が最も適しているタスクはどれですか？
- A) 英語テキストの日本語翻訳
- B) 複数のアーキテクチャ候補を比較評価して最適なものを選定する
- C) 単純な数値計算
- D) テキストの感情分類
答えを見る
正解: B)
ToTは木構造で複数の思考候補を生成・評価・選択する手法です。複数候補の比較評価が必要な設計的・創造的な問題に最も適しています。翻訳や感情分類はCoTやZero-shotで十分であり、単純な計算にToTは過剰です。
Q5: メタプロンプティングの「自己改善ループ」で最も重要な注意点はどれですか？
- A) 温度パラメータを必ず1.0に設定する
- B) 改善ループの上限回数を設定し、生成結果は人間がレビューする
- C) Few-shotの例を10個以上含める
- D) 改善は1回のみ実行し、2回目以降は禁止する
答えを見る
正解: B)
メタプロンプティングの自己改善ループは収束しないことがあるため、上限回数（例: 3回）を設定することが重要です。また、LLMが生成したプロンプトの品質は保証されないため、必ず人間がレビューしてからプロダクションに適用する必要があります。
結果
合格（80%以上）
おめでとうございます。高度なプロンプト技法を理解し、適切に使い分けられる力が身についています。Step 3ではシステムプロンプトの設計に進みましょう。
不合格（80%未満）
以下のステップを復習してから再挑戦してください。
- Q1を間違えた場合 → Step 2-1「Chain of Thought推論」を復習
- Q2を間違えた場合 → Step 2-2「ReActパターン」を復習
- Q3を間違えた場合 → Step 2-3「Self-Consistencyと多数決」の一致率と信頼度の節を復習
- Q4を間違えた場合 → Step 2-3「Self-Consistencyと多数決」のToTの節を復習
- Q5を間違えた場合 → Step 2-4「メタプロンプティング」の注意点を復習
推定所要時間: 30分