クイズの説明
Step 5で学んだ継続的改善サイクルについて理解度をチェックします。
- 全5問
- 合格ライン: 80%（4問正解）
- 不合格の場合は復習してから再挑戦してください
問題
Q1. LLMシステムのA/Bテストで、トラフィックを段階的に増やす（5%→20%→50%）理由は何ですか？
- A) サーバー負荷を分散するため
- B) 少数のユーザーでまず安全性を確認し、問題がないことを確認してから拡大するため
- C) ユーザーに新機能を徐々に慣れさせるため
- D) テスト期間を長くするため
答えを見る
正解: B
段階的なトラフィック拡大（カナリアリリース）は、少数のユーザーで新しい設定の安全性と品質を確認してから、より多くのユーザーに展開するリスク管理手法です。LLMの出力は非決定的であるため、想定外の不適切な回答が生成されるリスクがあり、影響を最小限に抑えながら検証します。
Q2. フィードバックループにおける「暗黙的フィードバック」の例として適切なものはどれですか？
- A) ユーザーが「役に立った」ボタンを押す
- B) ユーザーが同一セッションで同じ質問を言い換えて再質問する
- C) ユーザーがアンケートに回答する
- D) QAチームがAI回答を評価する
答えを見る
正解: B
暗黙的フィードバックはユーザーの行動から間接的に収集されるフィードバックです。同一セッションでの再質問は「最初の回答が不十分だった」ことを示すシグナルです。ボタンやアンケートは明示的フィードバック、QAチームの評価は専門家フィードバックに分類されます。
Q3. Fine-tuningを検討する前に実施すべきことの正しい順序はどれですか？
- A) Fine-tuning → プロンプト改善 → RAG
- B) プロンプト改善 → RAG/Few-shot → モデル切替 → Fine-tuning
- C) RAG → Fine-tuning → プロンプト改善
- D) モデル切替 → Fine-tuning → プロンプト改善
答えを見る
正解: B
改善手段は「コストが低く柔軟性が高いものから順に試す」のが原則です。プロンプト改善（即日、低コスト）→ RAG/Few-shot（1-2週間、中コスト）→ モデル切替（1週間、低コスト）→ Fine-tuning（2-4週間、高コスト）の順に検討し、前の手段で十分な改善が得られなかった場合にのみ次の手段に進みます。
Q4. A/Bテストのガードレールとして「CSAT-10%で自動停止」を設ける理由は何ですか？
- A) テスト期間を短縮するため
- B) 統計的有意性を高めるため
- C) Treatmentが著しく悪い場合にユーザーへの悪影響を最小限に抑えるため
- D) テストコストを削減するため
答えを見る
正解: C
ガードレールは安全装置です。新しい設定（Treatment）がユーザー満足度を著しく低下させる場合、テスト完了を待たずに自動停止することで、ユーザーへの悪影響を最小限に抑えます。LLMの出力は予測困難であるため、事前に安全停止条件を設定しておくことが重要です。
Q5. 「データフライホイール」の概念として正しいものはどれですか？
- A) データを高速に処理するハードウェア
- B) AI品質向上→利用増加→フィードバック増加→さらなる品質向上という正のフィードバックループ
- C) データを圧縮して保存する技術
- D) データベースの自動スケーリング
答えを見る
正解: B
データフライホイールは、AIの品質向上がユーザー満足度を高め、利用頻度の増加とフィードバックデータの蓄積につながり、そのデータがさらなるAI品質向上に活用されるという正の循環（フライホイール効果）を指します。一度この循環が回り始めると、改善が加速していきます。
結果
4問以上正解の場合
合格です。Step 5「継続的改善サイクル」を完了しました。 次はStep 6「総合演習」に進みましょう。
3問以下の場合
もう少し復習しましょう。
| 問題 | 復習セクション |
|---|---|
| Q1 | step5_1 A/Bテスト |
| Q2 | step5_2 フィードバックループ |
| Q3 | step5_3 Fine-tuning判断 |
| Q4 | step5_1 A/Bテスト |
| Q5 | step5_2 フィードバックループ |
推定所要時間: 15分