Step 5 確認クイズ

エージェントの評価・改善に関する確認クイズである。5問中4問以上の正解で合格となる。

Q1. 精度指標

ゼロ売上が多い商品カテゴリの精度評価において、MAPEよりも適切な指標はどれか？

正解: C) wMAPE（加重MAPE）

解説: MAPEはゼロ値で分母がゼロになるため計算できない。wMAPE（weighted MAPE）は全体の売上合計を分母に使うため、ゼロ売上が含まれていても安定して計算できる。wMAPE = Σ|y - ŷ| / Σy × 100。

再学習トリガーのハイブリッドアプローチとして、最も適切な組み合わせはどれか？

正解: C) 定期再学習 + 精度劣化 + データドリフト検知の組み合わせ

解説: 定期再学習だけでは精度劣化への対応が遅れ、精度劣化検知だけでは検知漏れのリスクがある。定期（週次等）+ 精度劣化トリガー + データドリフト検知を組み合わせることで、安定かつ迅速な再学習が実現できる。

再学習で新モデルが現行モデルより精度が悪かった場合の対応として正しいものはどれか？

正解: B) 現行モデルを維持し、新モデルはデプロイしない

解説: チャンピオン/チャレンジャー方式では、新モデル（チャレンジャー）が現行モデル（チャンピオン）を明確に上回った場合のみデプロイする。精度が同等以下の場合は現行モデルを維持することで、品質の劣化を防ぐ。

需要予測の精度改善が直接的に影響するビジネスKPIとして、最も関連が薄いものはどれか？

正解: C) 従業員離職率

解説: 需要予測の精度改善は、在庫回転率（適正在庫による回転向上）、欠品率（過小予測の改善による欠品減少）、廃棄率（過大予測の改善による過剰在庫・廃棄の減少）に直接影響する。従業員離職率は需要予測の精度とは直接的な関連が薄い。

KS検定によるデータドリフト検出で、p値が0.001だった場合の解釈として正しいものはどれか？

正解: B) データの分布に統計的に有意な変化がある

解説: KS検定のp値が小さい（< 0.05）場合、参照データと現在のデータの分布に統計的に有意な差があることを示す。ただし、分布の変化が必ずしも精度劣化に直結するとは限らないため、精度指標と合わせて再学習の要否を判断する。

推定所要時間: 15分