クイズの説明
Step 1で学んだ内容の理解度をチェックします。
- 全8問
- 合格ライン: 80%（7問正解）
- 不合格の場合は復習してから再挑戦してください
問題
Q1. RAGがファインチューニングより適しているのはどのケースですか？
- A) モデルの出力スタイルを変更したい場合
- B) 頻繁に更新される社内ドキュメントを参照したい場合
- C) 特定のドメインの語彙をモデルに学習させたい場合
- D) モデルのパラメータ数を削減したい場合
答えを見る
正解: B
RAGは外部知識を動的に参照するため、ドキュメントの更新に即座に追従できます。ファインチューニングはデータが更新されるたびに再訓練が必要でコストが高くなります。出力スタイルの変更（A）やドメイン語彙の学習（C）はファインチューニングの得意領域です。
Q2. トークンエコノミクスにおいて、RAGシステムのコストを最も効果的に削減する方法はどれですか？
- A) 常に最も高性能なモデルを使用する
- B) コンテキスト長を無制限に拡大する
- C) クエリの複雑さに応じてモデルをルーティングする
- D) 出力トークン数の制限を撤廃する
答えを見る
正解: C
マルチモデルルーティングにより、単純なクエリには安価な軽量モデル（GPT-4o-mini等）、複雑なクエリにのみ高性能モデル（GPT-4o等）を使用することで、品質を維持しながらコストを大幅に削減できます。多くの場合、リクエストの80-90%は軽量モデルで十分です。
Q3. チャンキングにおいてオーバーラップを設定する主な目的はどれですか？
- A) チャンク数を増やして検索結果を多様にするため
- B) チャンクの境界で文脈が失われることを防ぐため
- C) ベクトルDBのストレージ使用量を最適化するため
- D) エンベディングの計算コストを削減するため
答えを見る
正解: B
オーバーラップは、チャンクの分割点で文脈が途切れることを防ぐために設定します。前のチャンクの末尾部分を次のチャンクの先頭に含めることで、情報の連続性が保たれ、検索時に必要な文脈が欠落するリスクを減らします。
Q4. HyDE (Hypothetical Document Embeddings) の仕組みとして正しいものはどれですか？
- A) クエリを複数のサブクエリに分解して並列検索する
- B) LLMに仮想的な回答文を生成させ、その埋め込みで検索する
- C) 検索結果をLLMで要約してからユーザーに返す
- D) エンベディングモデルの重みを動的に調整する
答えを見る
正解: B
HyDEは、ユーザーのクエリを直接ベクトル化する代わりに、LLMに「この質問に対する仮想的な回答」を生成させ、その仮想回答のエンベディングを使って検索します。クエリよりも回答文の方がドキュメントと意味的に近いため、検索精度が向上します。
Q5. Re-rankingを導入する際の一般的なアプローチはどれですか？
- A) ベクトル検索のTop-5を直接Re-rankingする
- B) ベクトル検索のTop-20〜50を取得し、Re-rankingでTop-5に絞り込む
- C) Re-rankingの結果を全てLLMに渡す
- D) Re-rankingはベクトル検索の前に実行する
答えを見る
正解: B
Multi-stage Retrievalのパターンでは、第1段階で広範囲の候補（最終的に必要な数の3-5倍）を取得し、第2段階のRe-ranking（Cross-Encoderなど）で精密に評価して上位に絞り込みます。第1段階では高速なベクトル検索でRecallを確保し、第2段階で高精度なPrecisionを実現します。
Q6. RAGASフレームワークのFaithfulnessメトリクスが測定するものはどれですか？
- A) ユーザーの質問に対する回答の関連性
- B) 生成された回答が検索されたコンテキストに忠実であるか
- C) 検索結果の上位に関連文書が含まれているか
- D) エンベディングモデルの精度
答えを見る
正解: B
Faithfulness（忠実性）は、生成された回答に含まれる各主張が、検索で取得されたコンテキストによって裏付けられているかを測定するメトリクスです。回答の関連性（A）はAnswer Relevancy、検索結果の順位（C）はContext Precisionがそれぞれ担当します。
Q7. Agentic RAGの特徴として最も適切なものはどれですか？
- A) 固定のパイプラインで常に同じ処理を行う
- B) LLMが検索の必要性を自律的に判断し、検索結果の品質も評価する
- C) エージェントが人間の代わりにドキュメントを作成する
- D) 複数のLLMを同時に呼び出して最速の結果を返す
答えを見る
正解: B
Agentic RAGでは、LLMが自ら「検索が必要か」「検索結果は十分か」「追加検索が必要か」「回答は情報源に基づいているか」を判断します。固定パイプラインとは異なり、クエリの性質に応じて動的に処理フローが変わるのが特徴です。
Q8. RAGシステムのハルシネーション対策として最も効果的な組み合わせはどれですか？
- A) temperatureを1.0に設定し、Top-Pサンプリングを使用する
- B) 出典の明示を指示し、temperatureを0に設定し、Groundedness Checkを行う
- C) コンテキスト長を最大にし、全てのチャンクをLLMに渡す
- D) ファインチューニングでハルシネーションしないように学習させる
答えを見る
正解: B
ハルシネーション対策には複数の手法を組み合わせるのが効果的です。プロンプトで出典明示を指示し、temperature=0で確定的な出力を得て、生成後にGroundedness Check（忠実性検証）で回答がコンテキストに基づいているか検証します。Aのtemperature=1.0はランダム性が高くなりハルシネーションが増加します。
結果
7問以上正解の場合
合格です。おめでとうございます。
Step 1「RAGアーキテクチャを設計する」を完了しました。 次は Step 2「ベクトルDBを選定・構築する」に進みましょう。
6問以下の場合
もう少し復習しましょう。
| 問題 | 復習セクション |
|---|---|
| Q1, Q2 | step1_1 LLMの現在地と選択基準 |
| Q3 | step1_2 RAGアーキテクチャの基礎 |
| Q4, Q5, Q7 | step1_3 高度なRAGパターン |
| Q6, Q8 | step1_4 RAGシステムの評価 |
Step 1 完了
お疲れさまでした。
学んだこと
- LLMの全体像とモデル選定のフレームワーク
- RAGパイプラインの3フェーズ（Index→Retrieve→Generate）
- Advanced RAGパターン（HyDE、Re-ranking、Agentic RAG）
- RAGASフレームワークによる品質評価
次のステップ
Step 2: ベクトルDBを選定・構築する（4時間）
RAGの心臓部であるベクトルDBについて、エンベディングモデルの選定からインデックス戦略、検索最適化まで深く掘り下げます。
推定所要時間: 15分