クイズの説明
Step 4「検索精度を最適化しよう」の理解度を確認します。クエリ変換、Reranking、Self-RAG/CRAG、高度なRAGパターンについて問います。
合格ライン: 80%（5問中4問正解）
問題
Q1. HyDE（Hypothetical Document Embeddings）
HyDEの仕組みとして正しいものはどれですか？
- A. ユーザーのクエリを複数の言語に翻訳して検索する
- B. LLMで仮の回答を生成し、その回答のEmbeddingを使ってベクトル検索する
- C. 過去の検索履歴から類似クエリを探して使い回す
- D. クエリのEmbeddingを圧縮して検索を高速化する
答えを見る
正解: B
HyDE（Hypothetical Document Embeddings）は、ユーザーのクエリに対してLLMが「仮の回答」を生成し、その仮回答のEmbeddingでベクトル検索を行う手法です。クエリ（質問形式）よりも仮回答（説明形式）の方がドキュメントの表現に近いため、検索精度が向上します。多言語翻訳（A）、検索履歴（C）、ベクトル圧縮（D）はHyDEの仕組みではありません。ただし、仮回答にハルシネーションが含まれる可能性があるため、仮回答は検索用途のみに使い、最終回答には使用しないことが重要です。
Q2. Cross-Encoder Reranking
Cross-Encoderによる Rerankingが初回のベクトル検索よりも高精度である理由として、最も適切なものはどれですか？
- A. Cross-Encoderの方がベクトルの次元数が大きいため
- B. Cross-Encoderはクエリとドキュメントをペアとして同時に処理し、単語間のAttentionが効くため
- C. Cross-Encoderの方が処理速度が速いため
- D. Cross-Encoderは最新のデータで毎回学習し直すため
答えを見る
正解: B
ベクトル検索で使うBi-Encoderは、クエリとドキュメントを独立にエンコードしてから類似度を計算します。一方Cross-Encoderは、クエリとドキュメントをペアとして同時にTransformerに入力し、両者の単語間でAttentionが効くため、より細かな意味的関係を捉えられます。ただし計算コストが高いため、初回検索の全ドキュメントに適用するのは非現実的です。次元数（A）、処理速度（C）、再学習（D）は正確な説明ではありません。
Q3. Self-RAGの反省トークン
Self-RAGにおいて、LLMが生成した回答が検索結果に基づいていない（ハルシネーションの可能性がある）と判定するために使用する反省トークンはどれですか？
- A. Retrieve（検索の必要性判断）
- B. IsREL（検索結果の関連性評価）
- C. IsSUP（回答の忠実性評価）
- D. IsUSE（回答の有用性評価）
答えを見る
正解: C
IsSUP（Is Supported）は、生成した回答が検索結果（コンテキスト）に基づいているかどうかを評価する反省トークンです。判定結果は「FULLY SUPPORTED」「PARTIALLY SUPPORTED」「NOT SUPPORTED」の3段階で、NOT SUPPORTEDの場合はハルシネーションの可能性が高いと判断します。Retrieve（A）は検索の必要性、IsREL（B）は検索結果の関連性、IsUSE（D）は回答の有用性を評価するもので、忠実性の評価とは異なります。
Q4. Graph RAGの活用
以下のクエリのうち、Graph RAGが最も効果を発揮するものはどれですか？
- A. 「Dockerのインストール手順を教えて」
- B. 「AチームのサービスがBチームのAPIに依存している関係を説明して」
- C. 「2025年の会社の売上実績は？」
- D. 「Pythonの最新バージョンは何ですか？」
答えを見る
正解: B
Graph RAGは、エンティティ間の関係性を問うクエリに最も効果を発揮します。「AチームのサービスがBチームのAPIに依存している関係」を説明するには、ナレッジグラフ上で「Aチーム」→「サービスX」→「依存」→「BチームのAPI」という関係をたどる必要があり、これは単純なベクトル検索では捉えにくい情報です。A（手順の検索）、C（数値情報の検索）、D（事実の検索）はいずれも単一ドキュメントの検索で十分に回答可能であり、Graph RAGの利点が活かされません。
Q5. 最適化手法の選定
RAGシステムのPrecision@5が60%で目標の85%に達していません。予算・レイテンシの制約が厳しい状況で、最初に試すべき最適化手法として最も費用対効果が高いものはどれですか？
- A. Graph RAGの導入（ナレッジグラフの構築）
- B. Rerankingの導入（Cohere Rerank等のCross-Encoder）
- C. フルSelf-RAGの実装（全反省トークンの実装）
- D. Multi-hop RAGの実装（複数ステップの検索・推論）
答えを見る
正解: B
Rerankingは、RAGの検索精度を向上させる手法の中で最も費用対効果が高い手法として知られています。API型（Cohere Rerank等）であれば実装が容易で、Precision@5を30〜40%向上させた実績が多数報告されています。レイテンシの追加は200〜500ms程度、コストも月数万円程度です。Graph RAG（A）はナレッジグラフの構築に大きなコストがかかります。フルSelf-RAG（C）は複数のLLM呼び出しでコスト・レイテンシが大幅に増加します。Multi-hop RAG（D）は実装が複雑で、単純なPrecision改善には過剰です。
結果
合格（4問以上正解）
Step 4の内容をよく理解しています。検索精度の最適化手法を身につけました。次のStep 5「RAGシステムの評価と運用を設計しよう」に進みましょう。
不合格（3問以下正解）
Step 4の内容を復習しましょう。特に以下のポイントを重点的に確認してください：
- クエリ変換 — HyDE、Multi-Query、Step-backの仕組みと使いどころ
- Reranking — Bi-Encoder vs Cross-Encoderの違い
- Self-RAG — 4つの反省トークンの役割
- 高度なパターン — Graph RAG、Agentic RAG、Multi-hopの適用判断
推定所要時間: 30分