総合演習：不正検知システム構築レポート

=== エグゼクティブサマリー ===

■ 課題
NetShop社の決済における不正被害は月間800万円（年間約1億円）に達している。
現行のルールベース監視: 検知率42%、偽陽性率85%。
調査チーム5名がアラート対応に追われ、重要な不正を見逃すリスクが高い。

■ アプローチ
Kaggle Credit Card Fraud Detectionデータ（284,807件、不正率0.17%）を用い、
不均衡データへの対処（SMOTE+コスト敏感学習）からモデル構築、閾値最適化まで実施。

■ 主要発見
1. 不正取引はV14, V4, V12の3特徴量で大きく分離可能
2. 高額取引（上位5%）に不正の60%が集中
3. Autoencoder + LightGBMのアンサンブルでPR-AUC 0.85を達成
4. コストベース最適化により不正1件の見逃しコスト50万円を考慮した閾値設定

■ 解決策
LangGraphベースの不正監視AIエージェントを提案。
機能: リアルタイムスコアリング、多段階アラート、自動リスク評価、調査支援。

■ 期待効果
- 検知率: 42% → 92%（+50pt）
- 偽陽性率: 85% → 45%（-40pt）
- 年間不正被害削減: 約5,000万円
- 調査効率向上: 1人あたり処理件数 60件→100件/日
- ROI: 850%、回収期間: 1.4ヶ月

=== テクニカルレポート ===

■ 不均衡データ対処
1. SMOTE: 不正サンプルを合成生成（少数クラスを5倍に増加）
2. コスト敏感学習: 不正の見逃し（FN）に50倍の重みを設定
3. アンダーサンプリング: ランダム + Tomek Links の併用
4. 結果: SMOTE + コスト敏感学習の組み合わせが最良

■ モデル比較
| モデル | PR-AUC | Recall | Precision | FP Rate |
|--------|--------|--------|-----------|---------|
| ルールベース（現行） | 0.35 | 0.42 | 0.15 | 85% |
| Isolation Forest | 0.62 | 0.78 | 0.08 | 90% |
| Autoencoder | 0.72 | 0.85 | 0.22 | 65% |
| LightGBM + SMOTE | 0.82 | 0.90 | 0.35 | 50% |
| アンサンブル | 0.85 | 0.92 | 0.40 | 45% |

選定: Autoencoder + LightGBMのアンサンブル（異常検知+教師あり学習の補完）

■ 閾値最適化
コスト関数: Cost = FN × 500,000 + FP × 2,500
最適閾値: 0.35（コスト最小化点）
結果: 月間コスト 800万→350万円に削減

■ 評価手法
- 時系列分割によるバックテスト（直近3ヶ月）
- ストラティファイドK-Fold（K=5）
- コストベース評価（ビジネスインパクト変換）

=== 運用設計書 ===

■ AIエージェントアーキテクチャ
取引データ → ScoringTool → RiskAssessmentTool → AlertWorkflowTool
                                                        ↓
調査員 ← InvestigationSupportTool ← LangGraph Agent ← LLM応答

Tool群:
1. ScoringTool: リアルタイム不正スコア算出（<100ms）
2. RiskAssessmentTool: 取引コンテキストの多角的評価
3. AlertWorkflowTool: 多段階アラート生成・振り分け
4. InvestigationSupportTool: 調査員向け分析レポート生成

■ 偽陽性管理
- 多段階アラート: Critical/High/Medium/Lowの4段階
- 顧客リスクプロファイル: 行動パターンベースの正常性判定
- ルールフィルタ: 定期決済・少額取引のホワイトリスト
- 目標: 偽陽性率 85% → 45%

■ フィードバックループ
短期（日次）: 閾値微調整、ルール更新
中期（週次）: 増分学習（新ラベルデータ50件以上で実行）
長期（月次）: 全面再学習、チャンピオン/チャレンジャー比較

■ リスクと対策
| リスク | 対策 |
|--------|------|
| 新手口の出現 | Isolation Forestによる新パターン検知 |
| モデル劣化 | PSI監視 + 自動再学習トリガー |
| システム障害 | ルールベースへのフォールバック |
| 敵対的攻撃 | 入力バリデーション + モデル多様化 |

■ 導入スケジュール
Phase 1（1ヶ月）: モデル構築・バリデーション
Phase 2（2ヶ月）: エージェント開発・シャドーテスト
Phase 3（3ヶ月）: パイロット運用（高額取引のみ）
Phase 4（4ヶ月）: 全取引展開・モニタリング開始