技術選定: Elasticsearch（OpenSearch）。日本語形態素解析にkuromoji、1000万商品規模でのファセット検索に対応。

インデックス設計:

{
  "mappings": {
    "properties": {
      "name": { "type": "text", "analyzer": "kuromoji" },
      "description": { "type": "text", "analyzer": "kuromoji" },
      "category": { "type": "keyword" },
      "price": { "type": "integer" },
      "rating": { "type": "float" },
      "brand": { "type": "keyword" }
    }
  }
}

ランキング: BM25ベース + function_scoreで販売数・評価をブースト。新着商品にrecency boostを適用。

パフォーマンス: レプリカ3台で読み取り分散。人気クエリのキャッシュ。結果セットのページネーションにsearch_afterを使用。

候補生成: 2ステージ構成。Stage 1で500万本から1000本に絞り込み（ANN: Approximate Nearest Neighbor検索）。Stage 2でMLモデルによるスコアリング。

特徴量:

• ユーザー: 視聴履歴、ジャンル嗜好、視聴完了率、時間帯
• 動画: ジャンル、タグ、長さ、投稿者、エンゲージメント率
• コンテキスト: 時間帯、デバイス、直前に見た動画

アーキテクチャ: モデル学習はSpark + GPU (日次バッチ)。特徴量は Feature Store (Redis + DynamoDB)。推論はTensorFlow Serving (リアルタイム)。

A/Bテスト: トラフィックの10%を新モデルに割り当て、CTR・視聴完了率・セッション時間で比較。統計的有意差が確認されたら全体に展開。

ログ収集: Fluentd/Fluent Bit (各サーバー) → Kafka (バッファ) → 並行して2系統に分岐。

リアルタイム系: Kafka → Flink (ウィンドウ集計: 1分/5分) → Redis (最新メトリクス) → Grafanaダッシュボード。エラー率が閾値超過時にSlack/PagerDutyアラート。

バッチ系: Kafka → S3 (パーティション: year/month/day/hour) → Athena/Prestoで30日間のアドホック検索。7日以降のデータはGlacierに自動移行。

コスト最適化: ログレベルで保持期間を変更（ERROR: 90日、INFO: 30日、DEBUG: 7日）。圧縮（Parquet形式）でストレージ80%削減。

アーキテクチャ: トランザクション → Kafka → Flink (リアルタイムスコアリング) → 判定結果DB。スコアが閾値超過時はトランザクションをブロック。

特徴量:

• リアルタイム: 直近1時間の取引回数、金額合計、新しいデバイスか、地理的距離
• バッチ: ユーザーの平均購入金額、通常の購入時間帯、過去の不正フラグ

判定ロジック:

1. ルールベース: 明確な不正パターン（盗難カードリスト、高額閾値）→ 即座にブロック
2. MLモデル: ルールで判定できないケースをスコアリング → スコア > 0.8でブロック、0.5-0.8で追加認証

フィードバック: ブロックされた取引を人間がレビュー → ラベル付きデータとしてモデル再学習に利用。週次でモデル更新。