不正検知の課題

「不正検知をMLでやると言うのは簡単だが、普通の分類問題とは訳が違う。」

田中VPoEがホワイトボードに3つのキーワードを書く。「不均衡」「コスト非対称」「リアルタイム」。

「この3つの壁を乗り越えられるかが勝負だ。」

課題1: 極端な不均衡データ

不正取引は全取引のごく一部に過ぎない。典型的なクレジットカードデータでは、不正取引は全体の**0.1%〜0.5%**程度である。

不均衡の実態

import pandas as pd

# Kaggle Credit Card Fraud Detection データセットの場合
# 正常取引: 284,315件 (99.83%)
# 不正取引:      492件 ( 0.17%)
# 不正1件に対して正常578件の割合

print("不正取引の割合: 0.17%")
print("正常:不正 = 578:1")

正解率の罠

この不均衡が引き起こす最大の罠は「正解率（Accuracy）が役に立たない」ことである。

# 全てを「正常」と予測するだけで...
accuracy = 284315 / (284315 + 492)
print(f"正解率: {accuracy:.4f}")  # 0.9983 = 99.83%

# 正解率99.83%だが、不正を1件も検知できていない！

99.83%の正解率でも不正検知としては完全に失敗している。これが不均衡データにおける評価指標選択の重要性である。

課題2: 誤検知のコスト非対称性

不正検知では、誤りの種類によってビジネスコストが大きく異なる。

混同行列とコスト

                    予測: 正常    予測: 不正
実際: 正常        TN (正常OK)   FP (偽陽性)
実際: 不正        FN (偽陰性)   TP (検知成功)

誤りの種類	意味	ビジネスコスト
偽陽性（FP）	正常取引を不正と誤判定	取引ブロック → 顧客不満・売上損失
偽陰性（FN）	不正取引を見逃す	不正被害額 + チャージバック手数料

コストの具体例

# NetShop社のコスト構造（仮定）
cost_fp = 500     # 偽陽性1件: 顧客対応コスト + 機会損失
cost_fn = 50000   # 偽陰性1件: 不正被害額 + チャージバック

# コスト比率
print(f"FNのコストはFPの{cost_fn // cost_fp}倍")
# FNのコストはFPの100倍

# つまり不正を1件見逃すコスト = 正常を100件誤検知するコスト

この非対称性を考慮しないモデルは、たとえ数値上の性能が良くてもビジネスでは使えない。

コストマトリクスの設計

コストマトリクス:
              予測: 正常    予測: 不正
実際: 正常    0円          500円
実際: 不正    50,000円     0円（+調査コスト2,000円）

課題3: リアルタイム性の要求

不正検知はオフラインの分析とは異なり、取引が実行される前（または直後）に判定を下す必要がある。

レイテンシ要件

取引処理フロー:
  ユーザー操作 → 決済リクエスト → [不正判定] → 承認/拒否
                                   ↑
                        ここで数十〜数百ミリ秒以内に判定

要件:
- P50レイテンシ: 50ms以下
- P99レイテンシ: 200ms以下
- スループット: 1,000 TPS以上

リアルタイム性が制約する技術選択

制約	影響
推論速度	複雑すぎるモデルは使えない
特徴量計算	リアルタイムで計算可能な特徴量に限定
データアクセス	外部APIコールは最小限に
モデルサイズ	メモリに載るサイズでなければならない

課題4: コンセプトドリフト

不正の手口は常に進化する。昨日有効だったモデルが明日も有効とは限らない。

コンセプトドリフトの例:
  Q1: カード番号連続試行型の不正が主流
  Q2: 正規カードの小額多数回利用型に変化
  Q3: アカウント乗っ取り経由の不正が増加
  Q4: ボットによる自動化された新パターン登場

→ モデルの定期的な再学習と監視が必須

課題5: ラベルの遅延と不確実性

不正かどうかの最終判定（ラベル）は、取引の数日〜数週間後に確定することが多い。

取引発生 → [数日後] チャージバック申請 → [数週間後] 調査完了 → ラベル確定

問題:
- モデル学習用のラベルが遅れて利用可能になる
- 未申告の不正（顧客が気づいていない）はラベルされない
- フレンドリー詐欺は真の不正と区別が困難

まとめ

課題	影響	対策の方向性
極端な不均衡	正解率が無意味	適切な評価指標・サンプリング手法
コスト非対称	FNはFPの100倍のコスト	コスト敏感学習・閾値最適化
リアルタイム性	数十ms以内の判定	軽量モデル・特徴量設計
コンセプトドリフト	モデルの劣化	定期再学習・モニタリング
ラベルの遅延	学習データの品質	半教師あり学習・異常検知

チェックリスト

不均衡データで正解率が無意味になる理由を説明できる
偽陽性と偽陰性のコスト差を理解した
リアルタイム検知の技術的制約を3つ以上挙げられる
コンセプトドリフトの問題を説明できる

次のステップへ

不正検知の技術的課題を理解したところで、次はこれらの課題がビジネスに与えるインパクトを定量的に分析しよう。

推定読了時間: 30分