クイズの説明
Month 6「本番AIシステムを運用しよう」の全範囲から出題される卒業クイズです。
- 全10問
- 合格ライン: 80%（8問正解）
- 不合格の場合は該当Stepを復習してから再挑戦してください
問題
Q1. LLMOpsパイプラインにおいて、従来のMLOpsと最も大きく異なる点はどれですか？
- A) データ収集の方法
- B) プロンプト管理とバージョニングが中心的な役割を果たすこと
- C) デプロイの自動化方法
- D) テストの種類
答えを見る
正解: B
従来のMLOpsではモデルの学習・再学習が中心ですが、LLMOpsでは事前学習済みのモデルを使用するため、プロンプトの設計・管理・バージョニングが品質を左右する中心的な要素になります。プロンプトの変更がモデルの挙動を大きく変えるため、体系的な管理が不可欠です。
Q2. API Gatewayでのフォールバック戦略において、プライマリのOpenAI APIがダウンした場合の適切な対応はどれですか？
- A) エラーをユーザーに返す
- B) 代替プロバイダー（Anthropic等）に自動切替し、品質が異なることを考慮しつつサービスを継続する
- C) 全ての処理をキューに入れて復旧を待つ
- D) サーバーを再起動する
答えを見る
正解: B
マルチプロバイダーフォールバックは、特定のAPIプロバイダーに依存しない高可用性を実現する重要な戦略です。OpenAIがダウンした場合、Anthropic等の代替プロバイダーに自動切替することでサービスを継続します。ただし、モデル間で出力の傾向が異なるため、品質監視と対応が必要です。
Q3. プロンプトログ収集において、個人情報を含む可能性のあるデータを「ハッシュ化して記録」する理由は何ですか？
- A) 検索を高速化するため
- B) データの同一性を検証できつつ、ログ自体からの個人情報漏洩リスクを低減するため
- C) ストレージコストを削減するため
- D) データを圧縮するため
答えを見る
正解: B
ハッシュ化によりログに個人情報そのものを記録せずに済み、ログの漏洩時にも個人情報が露出しません。一方で、ハッシュ値により「同じ入力が再度来たか」の同一性検証は可能であり、監査やデバッグに必要なトレーサビリティを確保できます。
Q4. データドリフトとコンセプトドリフトの両方が同時に発生した場合、最初に確認すべきことは何ですか？
- A) モデルを即座に再学習する
- B) 入力データの分布変化を分析し、どのような変化が起きているかを特定する
- C) アラートを無効にする
- D) 全てのリクエストをリジェクトする
答えを見る
正解: B
ドリフトの対処には根本原因の特定が先決です。まず入力データの分布変化（新しいカテゴリの出現、季節変動等）を分析し、それがコンセプトドリフト（ユーザーの嗜好変化等）とどう関連しているかを理解します。原因を特定せずにモデルを再学習しても、適切な改善にはなりません。
Q5. アラート設計で「連続3回超過」の条件を設ける最大の目的は何ですか？
- A) アラートの送信回数を減らすため
- B) 一時的なスパイクによる偽陽性を排除し、真の異常のみを通知するため
- C) サーバー負荷を軽減するため
- D) アラートの優先度を上げるため
答えを見る
正解: B
一時的なネットワーク遅延やバースト的な負荷で一瞬閾値を超えることはよくあります。毎回アラートが発報されるとアラート疲れが起き、本当の異常も見逃されます。連続N回の条件により一時的な変動を除外し、持続的な問題のみを通知することが目的です。
Q6. LLMシステムのコスト構造で最も大きな割合を占めるAPIトークン費用を削減する最も効果的な施策はどれですか？
- A) サーバーのスペックをダウングレードする
- B) タスク複雑度に応じたモデルルーティングとセマンティックキャッシュの組み合わせ
- C) ログの保存期間を短くする
- D) 開発者の人数を減らす
答えを見る
正解: B
APIトークン費用（60-80%）の削減には、モデルルーティング（簡単なタスクを安価なモデルで処理、50-70%削減）とセマンティックキャッシュ（類似リクエストのキャッシュ返却、20-40%削減）の組み合わせが最も効果的です。品質を維持しながら大幅なコスト削減を実現できます。
Q7. カスケードパターンでGPT-4o-miniで処理後にGPT-4oにエスカレーションする判断基準は何ですか？
- A) リクエストの到着順
- B) GPT-4o-miniの出力の品質スコアが閾値を下回った場合
- C) ランダムに選択
- D) ユーザーが手動で選択
答えを見る
正解: B
カスケードパターンでは、低コストモデル（GPT-4o-mini）の出力に対して自動品質評価を行い、品質スコアが事前設定の閾値（例: 0.8）を下回った場合にのみ高性能モデル（GPT-4o）で再処理します。大半のリクエストが低コストモデルで十分な品質を達成するため、品質維持とコスト削減を両立できます。
Q8. A/Bテストで「統計的有意差なし」の結果が出た場合の適切な対応はどれですか？
- A) Treatmentを強制的に採用する
- B) サンプルサイズが十分であればTreatmentを棄却し、不十分であればテストを延長する
- C) テストを中止して元に戻す
- D) テスト設計を変更して再実施する
答えを見る
正解: B
統計的有意差なしの場合、2つの可能性があります。サンプルサイズが十分（事前計算した必要数以上）であれば、Treatmentに実質的な効果がないと判断して棄却します。サンプルサイズが不十分であれば、効果が小さい可能性があるためテスト期間を延長してデータを追加収集します。
Q9. フィードバックループで「暗黙的フィードバック」が「明示的フィードバック」より重要視される場面はどれですか？
- A) 品質の厳密な測定が必要な場合
- B) フィードバック回答率が低く、全ユーザーの行動データから品質シグナルを得たい場合
- C) ユーザーの意見を直接収集したい場合
- D) 法規制対応が必要な場合
答えを見る
正解: B
明示的フィードバック（Good/Badボタン等）の回答率は通常10-20%であり、サンプルに偏りがあります。暗黙的フィードバック（再質問、エスカレーション、離脱等）は全ユーザーから自動的に収集できるため、より代表的な品質シグナルを大量に得ることができます。
Q10. LLMOpsの成熟度を「Level 1（場当たり的）」から「Level 4（最適化）」に引き上げるために最も重要な投資は何ですか？
- A) 最新のGPUサーバーの導入
- B) モニタリング基盤、CI/CDパイプライン、コスト管理体制、データ駆動の改善サイクルの構築
- C) AIモデルの自社開発
- D) 社員全員へのAI研修
答えを見る
正解: B
Level 4（最適化）は、AIシステムの運用が自動化され、データに基づいて継続的に改善されている状態です。これを実現するには、可観測性のあるモニタリング基盤、安全なデプロイのCI/CDパイプライン、FinOpsによるコスト管理体制、A/Bテストとフィードバックループによるデータ駆動の改善サイクルが不可欠です。
結果
8問以上正解の場合
合格です。Month 6「本番AIシステムを運用しよう」を修了しました。 LLMOpsの全体像、サービング基盤、モニタリング、コスト最適化、継続的改善サイクルの設計力が身につきました。
AI Track Month 4〜6の全カリキュラムを完了しました。おめでとうございます。
7問以下の場合
もう少し復習しましょう。
| 問題 | 復習セクション |
|---|---|
| Q1 | Step 1: LLMOps入門 |
| Q2 | Step 2: モデルデプロイとサービング基盤 |
| Q3 | Step 3: プロンプトログ収集 |
| Q4 | Step 3: ドリフト検出 |
| Q5 | Step 3: アラートとダッシュボード |
| Q6 | Step 4: コスト最適化戦略 |
| Q7 | Step 4: モデル選択最適化 |
| Q8 | Step 5: A/Bテスト |
| Q9 | Step 5: フィードバックループ |
| Q10 | Step 6: 総合演習 |
推定所要時間: 30分