ストーリー

データレイクの設計原則

5つの設計原則

ストレージ設計

ディレクトリ構造

s3://company-data-lake/
│
├── bronze/                          # 生データ（ソースそのまま）
│   ├── app_db/                      # ソースシステム別
│   │   ├── orders/                  # テーブル別
│   │   │   ├── year=2025/           # パーティション
│   │   │   │   ├── month=01/
│   │   │   │   │   ├── day=15/
│   │   │   │   │   │   ├── part-00000.parquet
│   │   │   │   │   │   └── _metadata.json
│   │   │   │   │   └── day=16/
│   │   │   │   └── month=02/
│   │   │   └── _schema/
│   │   │       └── schema_v1.json
│   │   ├── customers/
│   │   └── products/
│   ├── crm/
│   │   ├── accounts/
│   │   └── opportunities/
│   └── event_logs/
│       └── clickstream/
│
├── silver/                          # クレンジング済みデータ
│   ├── orders/
│   ├── customers/
│   └── unified_events/
│
├── gold/                            # ビジネスロジック適用済み
│   ├── revenue_mart/
│   ├── customer_360/
│   └── marketing_mart/
│
└── _system/                         # システムメタデータ
    ├── audit_logs/
    ├── data_quality_reports/
    └── lineage/

パーティショニング戦略

「パーティションの粒度は『最もよく使われるクエリパターン』に合わせる。日次バッチなら日付パーティション、リージョン別分析が多ければリージョンを第1パーティションにする」 — 田中VPoE

ファイルフォーマットの選択

主要フォーマット比較

選択フローチャート

ファイルフォーマット選択:

データの用途は？
├── 分析クエリ（SELECT特定列）  → Parquet / Iceberg
├── ストリーム処理              → Avro
├── ログの一時保存             → JSON（→ 後でParquetに変換）
├── ACID トランザクションが必要  → Delta Lake / Iceberg
└── レガシー連携              → CSV（最小限に）

データライフサイクル管理

ストレージクラスの活用（AWS S3）

ライフサイクルポリシー例

{
  "Rules": [
    {
      "ID": "bronze-lifecycle",
      "Filter": { "Prefix": "bronze/" },
      "Status": "Enabled",
      "Transitions": [
        { "Days": 90, "StorageClass": "STANDARD_IA" },
        { "Days": 365, "StorageClass": "GLACIER_IR" }
      ]
    },
    {
      "ID": "gold-lifecycle",
      "Filter": { "Prefix": "gold/" },
      "Status": "Enabled",
      "Transitions": [
        { "Days": 180, "StorageClass": "STANDARD_IA" }
      ]
    }
  ]
}

セキュリティとアクセス制御

レイヤー別のアクセス制御

まとめ

チェックリスト

• データレイクの5つの設計原則を説明できる
• パーティショニング戦略を用途に応じて選択できる
• ファイルフォーマットの特性と使い分けを理解した
• ライフサイクルポリシーでコスト最適化を設計できる

次のステップへ

次は「データウェアハウスの設計」を学びます。BigQuery、Snowflake、RedshiftなどのクラウドDWHの特性と、効率的なデータモデリングを身につけましょう。

推定読了時間: 30分