QUIZ 15分

クイズの説明

Step 1「LLMOpsの全体像を理解しよう」の理解度を確認します。MLOpsとの違い、LLMOpsパイプライン、技術スタック、組織体制について問います。

合格ライン: 80%（5問中4問正解）

問題

Q1. MLOpsとLLMOpsの違い

LLMOps固有の課題として最も適切でないものはどれですか？

  • A. プロンプトのバージョン管理とA/Bテスト
  • B. トークン単位の従量課金によるコスト変動
  • C. 学習データの特徴量エンジニアリング
  • D. 外部APIプロバイダへの依存とモデル廃止リスク
答えを見る

正解: C

特徴量エンジニアリングは従来のMLOps（予測AI）の課題であり、LLMOps固有の課題ではありません。LLMOps固有の課題は、プロンプト管理（A）、トークンコスト（B）、外部API依存（D）のほか、ハルシネーション検出、プロンプトインジェクション対策などがあります。LLMでは事前学習済みモデルをAPIで利用するため、特徴量設計は通常不要です。

Q2. LLMOpsパイプライン

プロンプトCI/CDパイプラインにおいて、Staging環境へのデプロイ前に必ず通すべきゲートとして最も重要なのはどれですか？

  • A. プロンプトの文字数が一定以下であること
  • B. 回帰テスト・安全性テスト・品質スコアの自動評価をパスすること
  • C. チーム全員の承認を得ること
  • D. 前回のデプロイから24時間以上経過していること
答えを見る

正解: B

プロンプトのデプロイ前に最も重要なのは、自動評価テストの合格です。回帰テスト（既存の正解セットに対する品質維持）、安全性テスト（プロンプトインジェクション耐性、有害出力の検出）、品質スコア（Faithfulness等の閾値チェック）を自動で実行し、すべてパスすることをデプロイの前提条件とします。文字数制限（A）は品質と直接関係なく、全員承認（C）はスピードを阻害し、時間制約（D）は根拠がありません。

Q3. 技術スタック選定

顧客のPII（個人識別情報）を含む可能性があるプロンプトログを管理する場合、最も適切な技術選択はどれですか？

  • A. LangSmith（SaaS版）にすべてのログを送信する
  • B. Langfuse（セルフホスト版）で自社インフラ上にログを保管する
  • C. ログ収集自体を行わない（PIIリスクを回避）
  • D. ログからPIIを除去せずにS3に保存する
答えを見る

正解: B

PII を含むログの管理では「データ主権」が重要です。Langfuseのセルフホスト版であれば、ログデータを自社インフラ上で管理でき、外部SaaSへのPII送信を避けられます。外部SaaSへの無条件送信（A）はプライバシーリスクがあり、ログ収集をしない（C）ではモニタリングと改善ができなくなります。PIIを除去せずに保存（D）はデータ保護の観点で不適切です。正しいアプローチは、自社管理のインフラでログを保管し、必要に応じてPIIマスキングを適用することです。

Q4. LLMOps組織体制

本番稼働中のAIチャットボットで応答品質が急激に劣化した場合、最初に対応すべきチームとして最も適切なのはどれですか？

  • A. SREチーム（インフラ障害の可能性を確認）
  • B. LLMOpsチーム（AI品質障害として対応）
  • C. セキュリティチーム（攻撃の可能性を確認）
  • D. プロダクトチーム（ビジネス影響の確認）
答えを見る

正解: B

「応答品質の劣化」はAI品質障害に分類されるため、LLMOpsチームが最初に対応します。LLMOpsチームは、プロンプトの変更有無、モデルプロバイダ側の更新、RAGデータの品質、トラフィックパターンの変化などを確認します。インフラ障害（A）であればレイテンシ増加やエラー率上昇が主な症状であり、セキュリティ問題（C）は特定パターンの検出が必要です。もちろん原因がインフラやセキュリティにあると判明した場合はエスカレーションしますが、初動はLLMOpsチームが担当します。

Q5. LLMOps成熟度

組織のLLMOps成熟度が以下の状態のとき、最も優先して改善すべき軸はどれですか？

API Gatewayを経由してLLMを呼び出している。プロンプトはGitで管理し、レビュープロセスもある。しかしフォールバック機能はなく、品質メトリクスも未導入で、コストは月末の請求書で確認している。

  • A. プロンプト管理（既にGit管理+レビューがある）
  • B. 信頼性（フォールバックがない）
  • C. コスト管理（月末確認のみ）
  • D. セキュリティ
答えを見る

正解: B

この組織はプロンプト管理がLevel 2-3と比較的高い成熟度ですが、フォールバックがないため信頼性がLevel 0です。フォールバックがない状態では、APIプロバイダの障害時にサービスが完全停止するリスクがあり、ビジネスインパクトが最大です。コスト管理（C）も改善が必要ですが、即座にサービス停止につながるリスクは信頼性の方が高いため、フォールバック機能の実装を最優先すべきです。プロンプト管理（A）は既に一定の水準にあるため優先度は低くなります。

結果

合格（4問以上正解）

Step 1の内容をよく理解しています。LLMOpsの全体像、パイプライン設計、技術スタック選定、組織体制の基礎を身につけました。次のStep 2「モデルデプロイとサービング基盤」に進みましょう。

不合格（3問以下正解）

Step 1の内容を復習しましょう。特に以下のポイントを重点的に確認してください：

  • MLOps vs LLMOps — LLMOps固有の7つの課題領域
  • パイプライン — プロンプトCI/CDと評価ゲートの設計
  • 技術スタック — データ主権を含めた選定基準
  • 組織体制 — SREとの責任分界、AI障害の初動対応

推定所要時間: 15分