クイズの説明
Month 5「AIシステムを本番投入しよう」の総合理解度を確認します。全10問、80%（8問）以上正解で合格です。
問題
Q1. RAGアーキテクチャの主な目的はどれですか？
- A) LLMのモデルサイズを小さくする
- B) 外部知識を検索してLLMの回答に根拠を与える
- C) LLMの推論速度を上げる
- D) LLMのトレーニングデータを増やす
答えを見る
正解: B
RAG（Retrieval-Augmented Generation）は、ユーザーの質問に関連するドキュメントを検索し、それをコンテキストとしてLLMに提供することで、根拠のある回答を生成するアーキテクチャです。
Q2. Hybrid Searchの利点として正しいものはどれですか？
- A) ベクトル検索のみより低コスト
- B) 意味的類似性とキーワード完全一致の両方を活用できる
- C) インデックスサイズが小さくなる
- D) 検索速度が必ず速くなる
答えを見る
正解: B
Hybrid Searchはベクトル検索（意味的類似性）とキーワード検索（BM25等、完全一致）を組み合わせることで、それぞれの弱点を補完し検索精度を向上させます。
Q3. チャンキング戦略で最も重要な考慮事項はどれですか？
- A) チャンクサイズを可能な限り大きくする
- B) 意味的な一貫性を保ちながら、適切なサイズに分割する
- C) 全ドキュメントを1つのチャンクにする
- D) 文字数で均等に分割する
答えを見る
正解: B
チャンキングでは、意味的に完結した単位（段落、セクション等）で分割し、コンテキストウィンドウに収まるサイズにすることが重要です。チャンク間のオーバーラップも文脈の維持に有効です。
Q4. ベクトルDBの選定で「pgvector」を選ぶ主な理由はどれですか？
- A) 最も高速なベクトル検索が可能
- B) 既存のPostgreSQLにベクトル検索機能を追加でき、運用コストが低い
- C) 最も多くのベクトル次元に対応している
- D) 無料で無制限に使用できる
答えを見る
正解: B
pgvectorは既存のPostgreSQLに拡張として追加でき、リレーショナルデータとベクトルデータを同一DBで管理できます。専用ベクトルDBと比べ運用が簡素化されます。
Q5. プロンプトエンジニアリングで「Chain of Thought」の効果はどれですか？
- A) 回答のトークン数を削減する
- B) LLMに段階的な推論過程を踏ませ、複雑な問題の正答率を向上させる
- C) 回答速度を向上させる
- D) コストを削減する
答えを見る
正解: B
Chain of Thought（CoT）は、LLMに「ステップバイステップで考えて」と指示することで、中間的な推論過程を明示させ、複雑な問題の正答率を向上させるテクニックです。
Q6. ガードレールの主な目的はどれですか？
- A) LLMの推論速度を制限する
- B) LLMの出力が安全性・正確性の基準を満たすようにする
- C) LLMのモデルサイズを制限する
- D) LLMのトレーニングデータをフィルタリングする
答えを見る
正解: B
ガードレールは、入力（有害コンテンツ、プロンプトインジェクション）と出力（ハルシネーション、不適切な内容）をフィルタリングし、AIシステムの安全性を確保する仕組みです。
Q7. セマンティックキャッシュのヒット判定に使用するのはどれですか？
- A) URLの完全一致
- B) クエリのエンベディング間のコサイン類似度
- C) クエリの文字列完全一致
- D) クエリのハッシュ値
答えを見る
正解: B
セマンティックキャッシュは、クエリをエンベディング化し、コサイン類似度で意味的に類似する過去のクエリを検索します。完全一致でなくても意味的に同じ質問にキャッシュを返却できます。
Q8. RAGASのContext Recallが低い場合、最も可能性が高い原因はどれですか？
- A) LLMの品質が低い
- B) 正解に必要なドキュメントが検索できていない
- C) 回答が長すぎる
- D) プロンプトが不適切
答えを見る
正解: B
Context Recallは、正解を導くのに必要な情報がどれだけ検索結果に含まれているかを測定します。低い場合は、チャンキング戦略、エンベディングモデル、検索パラメータの見直しが必要です。
Q9. LLMのストリーミングで「TTFT」が意味するものはどれですか？
- A) Total Token Fetch Time
- B) Time To First Token（最初のトークンが返るまでの時間）
- C) Token Transfer Finish Time
- D) Total Time For Throughput
答えを見る
正解: B
TTFT（Time To First Token）は、リクエスト送信から最初のトークンが返却されるまでの時間です。ストリーミングではTTFTがUXの体感速度を大きく左右します。
Q10. AIシステムの段階的リリースで最も重要な要素はどれですか？
- A) できるだけ早く100%にロールアウトすること
- B) ロールバック基準を事前に定義し、品質が基準を下回ったら即座に戻すこと
- C) テスト環境でのみ検証し、本番は一度に全展開すること
- D) ユーザーフィードバックを収集しないこと
答えを見る
正解: B
段階的リリースでは、各フェーズで品質メトリクス（👎率、エスカレーション率等）のロールバック基準を事前に定義し、基準を下回った場合は即座に前フェーズに戻す仕組みが重要です。
結果
8問以上正解の場合
合格です。 Month 5のAIシステム設計をしっかり習得しました。次のMonth 6「データアーキテクチャを設計しよう」に進みましょう。
7問以下の場合
もう少し復習しましょう。 RAG、ベクトルDB、プロンプト、API統合、評価の各分野を復習してください。