Step 5 確認クイズ

エージェントの評価・改善に関する確認クイズである。5問中4問以上の正解で合格となる。

Q1. 偽陽性率管理

偽陽性率（FPR）が目標値を超過した場合の最も適切な対応はどれか？

正解: B) 検知閾値を引き上げて偽陽性を減らす

解説: FPRが高い場合、まず閾値を上げることで偽陽性を即座に削減できる。ただしRecallも低下するため、根本的にはモデル改善が必要。全面再学習（A）は時間がかかりすぎ、一時ブロック（C）は過剰対応である。

不正検知モデルのフィードバックループにおいて、ラベルの遅延が問題になる理由として最も適切なものはどれか？

正解: B) チャージバック情報が30〜90日後に届くため、最新の不正パターンを即座に学習できないから

解説: 不正の確定ラベル（チャージバック）は取引から数十日後に届く。この間に不正者は新しい手口に移行している可能性があり、モデルは常に「過去の不正パターン」を学習している状態になる。調査チームの即時判定で補完する必要がある。

モデルの更新後に性能が低下した場合の最も適切な対応はどれか？

正解: B) 前のバージョンに即座にロールバックし、原因を分析する

解説: 不正検知は顧客の取引に直接影響するため、性能低下は即座に対処すべきである。前バージョンへのロールバックで安定性を確保し、並行して原因分析と改善を行う。モデルバージョン管理とロールバック機能は必須の設計要素である。

不正者が「低額分散攻撃」を行った場合に最も有効な検知手法はどれか？

正解: B) 累積リスクスコアと取引頻度に基づく検知

解説: 低額分散攻撃では1件ごとのスコアは低い。しかし累積リスクスコアを使えば、短時間に多数の取引が集中する異常パターンを検知できる。取引頻度ベースの特徴量も有効である。

顧客セグメント別に閾値を変える場合、VIP顧客（高額利用者）の閾値を一般顧客より高く設定する理由はどれか？

正解: B) VIP顧客は偽陽性による顧客体験の悪化コストが高いから

解説: VIP顧客の取引をブロックすると、高額の機会損失に加え、最も価値の高い顧客の信頼を損なうリスクがある。そのため閾値を高めに設定し（偽陽性を減らし）、その分Recallが下がるリスクは別の手段（二段階認証の導入等）で補完する。

推定所要時間: 15分