ストーリー

レイクハウスとは

データレイク、DWH、レイクハウスの比較

レイクハウスのアーキテクチャ

レイクハウスアーキテクチャ:

┌─────────────────────────────────────────────┐
│          クエリエンジン                        │
│  Spark / Trino / Presto / Databricks SQL    │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────┴──────────────────────────┐
│          テーブルフォーマット                   │
│  Delta Lake / Apache Iceberg / Apache Hudi  │
│  ┌─────────────────────────────────────┐    │
│  │ ACIDトランザクション                   │    │
│  │ スキーマ管理・進化                     │    │
│  │ タイムトラベル                        │    │
│  │ パーティション管理                     │    │
│  └─────────────────────────────────────┘    │
└──────────────────┬──────────────────────────┘
                   │
┌──────────────────┴──────────────────────────┐
│          オブジェクトストレージ                 │
│  S3 / GCS / ADLS  (Parquet ファイル)         │
└─────────────────────────────────────────────┘

テーブルフォーマットの比較

主要3フォーマット

Iceberg の特徴的な機能

Apache Iceberg の Hidden Partitioning:

従来のHiveスタイル:
  s3://data/orders/year=2025/month=01/day=15/

  ユーザーは WHERE year=2025 AND month=01 AND day=15 と
  パーティション列を意識してクエリを書く必要がある

Iceberg の Hidden Partitioning:
  パーティション変換関数でパーティションを定義

  CREATE TABLE orders (
    order_id BIGINT,
    order_date TIMESTAMP,
    amount DECIMAL(10,2)
  )
  PARTITIONED BY (day(order_date))

  ユーザーは WHERE order_date = '2025-01-15' と
  自然なクエリを書くだけでパーティションプルーニングが効く

レイクハウスの実装パターン

パターン1: Databricks + Delta Lake

パターン2: AWS + Iceberg

パターン3: GCP + BigLake

「レイクハウスのテーブルフォーマット選定は、エンジンの互換性で決めることが多い。Databricks中心ならDelta Lake、マルチエンジンならIceberg。技術的な差は縮まりつつあるが、エコシステムの差は大きい」 — 田中VPoE

タイムトラベルとデータバージョニング

活用シーン

まとめ

チェックリスト

• レイクハウスのメリットをデータレイク・DWHと比較して説明できる
• 3つのテーブルフォーマットの特性を理解した
• 実装パターンを自組織のクラウド環境に合わせて選択できる
• タイムトラベルの活用シーンを理解した

次のステップへ

次は「ディメンショナルモデリング」を学びます。ファクトテーブルとディメンションテーブルの設計手法、Slowly Changing Dimensionの実装方法を身につけましょう。

推定読了時間: 30分