MLOps総合クイズ
Month 4で学んだMLOpsの全範囲（全体像、実験管理、特徴量ストア、パイプライン自動化、モニタリング）について総合的に理解度を確認します。10問中8問以上の正解で合格です。
Q1. MLOps成熟度
MLOps成熟度Level 2の特徴として最も適切なものはどれですか？
- A: 手動でNotebookからモデルをデプロイしている
- B: MLflowで実験管理しているが、デプロイは手動
- C: CI/CDパイプラインが自動化され、モニタリングも導入されている
- D: 全プロセスが完全自動で、人間の介入が一切不要
正解と解説
正解: C
Level 2はCI/CDパイプラインの自動化とモニタリングの導入が完了した段階です。Level 0は手動、Level 1は基本ツール導入、Level 3は自動再学習を含む完全自動化です。
Q2. 実験管理
MLflowで記録すべき情報に含まれないものはどれですか？
- A: ハイパーパラメータ
- B: 評価メトリクス
- C: 開発者の個人情報
- D: 使用したデータセットのバージョン
正解と解説
正解: C
MLflowではパラメータ、メトリクス、アーティファクト（モデル・データ）、タグを記録します。開発者の個人情報は実験管理の記録対象ではありません。
Q3. 特徴量ストア
Point-in-Time Joinの目的として正しいものはどれですか？
- A: 最新の特徴量のみを取得する
- B: 各学習サンプルの時点における正確な特徴量を取得し、データリークを防ぐ
- C: 特徴量の欠損値を補完する
- D: 複数テーブルの全カラムを結合する
正解と解説
正解: B
Point-in-Time Joinは、各データポイントの時点で利用可能だった特徴量のみを取得します。これにより、学習時に未来の情報を使ってしまうデータリークを防止できます。
Q4. パイプラインオーケストレーション
ML学習パイプラインでDAGを使用する最大の利点はどれですか？
- A: コードの行数を減らせる
- B: タスク間の依存関係を明確にし、変更部分だけ再実行できる
- C: モデルの精度が向上する
- D: 複数の言語を混在して使用できる
正解と解説
正解: B
DAGにより各ステップの依存関係が明確になり、変更があったステップから下流のみ再実行することで効率化できます。冪等性の確保やデバッグの容易さも利点です。
Q5. CI/CD for ML
ML CI/CDにおいて、通常のソフトウェアCI/CDにはないテストはどれですか？
- A: ユニットテスト
- B: 統合テスト
- C: モデル精度の閾値テスト
- D: セキュリティテスト
正解と解説
正解: C
モデル精度の閾値テスト（品質ゲート）はML固有のテストです。AUC-ROC、F1スコアなどの指標が閾値を満たすかを自動で検証します。
Q6. デプロイ戦略
ユーザーへの影響をゼロにしつつ、新モデルの本番データでの挙動を検証したい場合、最適なデプロイ戦略はどれですか？
- A: Blue-Greenデプロイ
- B: カナリアリリース
- C: シャドウデプロイ
- D: ローリングアップデート
正解と解説
正解: C
シャドウデプロイは本番トラフィックを新モデルにも流しますが、応答は現行モデルのみが行います。新モデルの結果はログ記録のみなので、ユーザーへの影響はゼロです。
Q7. データドリフト
PSI値が0.18の特徴量に対する適切な対応はどれですか？
- A: 特に対応不要、モニタリング継続
- B: 調査を開始し、原因を特定する
- C: 即座にモデルを再学習する
- D: モデルをロールバックする
正解と解説
正解: B
PSI 0.1〜0.25は中程度の変化を示します。即座の対応は不要ですが、原因の調査を開始すべきです。PSI > 0.25になると再学習の検討が必要になります。
Q8. モデルレジストリ
モデルレジストリのステージ遷移として正しい順序はどれですか？
- A: Production → Staging → None → Archived
- B: None → Staging → Production → Archived
- C: Staging → None → Archived → Production
- D: Archived → Production → Staging → None
正解と解説
正解: B
モデルは登録時にNone、テスト完了でStaging、承認後にProduction、退役時にArchivedとステージが遷移します。
Q9. 再学習戦略
ハイブリッド再学習戦略にクールダウン期間を設ける理由として正しいものはどれですか？
- A: 計算コストを削減するため
- B: 再学習直後の一時的な不安定さによる不要な再学習を防ぐため
- C: データの収集に時間がかかるため
- D: 人間が承認する時間を確保するため
正解と解説
正解: B
クールダウン期間は、再学習直後にドリフトアラートが発生して再度再学習がトリガーされるループを防ぐために設けます。再学習後、新モデルが安定するまでの待機期間です。
Q10. MLOps基盤設計
MLOps基盤を導入する際、最初に行うべきことはどれですか？
- A: 最新の全ツールを一度に導入する
- B: 現状の成熟度を評価し、段階的な導入計画を立てる
- C: 全モデルを同時に新基盤に移行する
- D: 大規模なインフラ投資を行う
正解と解説
正解: B
MLOps導入は現状の成熟度評価から始め、段階的に進めるのがベストプラクティスです。一度に全ツールを導入すると学習コストが高く、失敗リスクが大きくなります。
結果
| 正答数 | 判定 |
|---|---|
| 8-10問 | 合格 - Month 4修了です。Month 5に進みましょう |
| 6-7問 | 該当するStepのレッスンを復習しましょう |
| 5問以下 | Month 4の内容を最初から再学習しましょう |
推定所要時間：30分