Step 1 確認クイズ
不正検知の業務課題理解に関する確認クイズである。5問中4問以上の正解(80%以上)で合格となる。
Q1. 不均衡データと正解率
Credit Card Fraud Detectionデータセットにおいて不正取引の割合は約0.17%である。全ての取引を「正常」と予測した場合の正解率はどれか?
- A) 0.17%
- B) 50.00%
- C) 99.83%
- D) 100.00%
正解: C) 99.83%
解説: 不正が0.17%なので、全て正常と予測すれば99.83%の正解率になる。しかし不正を1件も検知できないため、不正検知システムとしては完全に失敗である。これが不均衡データにおける正解率の罠である。
Q2. コスト非対称性
不正検知において、偽陰性(FN)1件のコストが50,000円、偽陽性(FP)1件のコストが500円の場合、最も正しい説明はどれか?
- A) 精度(Precision)を最大化すべき
- B) 不正を1件見逃すコストは正常取引を100件誤検知するコストに等しい
- C) 偽陽性を完全にゼロにすることを目指すべき
- D) 正解率(Accuracy)を最大化すれば最適
正解: B) 不正を1件見逃すコストは正常取引を100件誤検知するコストに等しい
解説: 50,000 / 500 = 100。FN1件 = FP100件のコストである。この非対称性を考慮したコスト最適化が必要であり、単純に精度や正解率を最大化しても最適解にはならない。
Q3. リアルタイム検知の制約
リアルタイム不正検知システムの技術的制約として、最も当てはまらないものはどれか?
- A) 推論速度が数十ミリ秒以内である必要がある
- B) モデルのサイズがメモリに載る範囲に限定される
- C) 全ての特徴量を外部APIから取得して計算する
- D) 特徴量はリアルタイムで計算可能なものに限定される
正解: C) 全ての特徴量を外部APIから取得して計算する
解説: リアルタイム性の要求下では、外部APIコールは最小限に抑える必要がある。全てを外部APIに頼ると遅延が発生し、要件を満たせない。事前計算した特徴量をキャッシュしておくなどの工夫が必要。
Q4. 検知率改善のROI
現行システムの月間不正被害コストが2,600万円、ML導入後の月間コストが800万円に改善される見込み。ML開発費が1,000万円、月間運用費が100万円の場合、投資回収期間に最も近いものはどれか?
- A) 約0.6ヶ月
- B) 約2ヶ月
- C) 約6ヶ月
- D) 約12ヶ月
正解: A) 約0.6ヶ月
解説: 月間コスト削減 = 2,600万 - 800万 = 1,800万円。運用費を引くと月間純削減 = 1,800万 - 100万 = 1,700万円。投資回収期間 = 1,000万 / 1,700万 ≈ 0.59ヶ月。不正検知のML導入は非常にROIが高い。
Q5. コンセプトドリフト
不正検知におけるコンセプトドリフトの説明として、最も正しいものはどれか?
- A) モデルの学習データが増えるにつれて性能が上がること
- B) 不正の手口が変化し、既存モデルの性能が劣化すること
- C) データの特徴量分布が正規分布からずれること
- D) モデルの予測閾値が時間とともに変化すること
正解: B) 不正の手口が変化し、既存モデルの性能が劣化すること
解説: コンセプトドリフトとは、データの背後にある分布(不正パターン)が時間とともに変化する現象。不正者は検知を回避するために手口を変えるため、不正検知ではコンセプトドリフトが特に顕著である。定期的なモデル再学習と性能監視が必須。
結果
- 4問以上正解(80%以上): 合格。Step 2に進もう。
- 3問以下: Step 1のレッスンを復習してから再挑戦しよう。
推定所要時間: 15分