レイクハウスアーキテクチャ

データレイクとは

データレイク（Data Lake）は、構造化・半構造化・非構造化のあらゆるデータをそのまま格納するストレージです。

データウェアハウスとの比較

データレイクの課題

データレイクは柔軟性が高い反面、管理が不十分だと「データスワンプ（データの沼）」に陥りがちです：

レイクハウスとは

レイクハウス（Lakehouse）は、データレイクの柔軟性とDWHの信頼性を両立する新しいアーキテクチャです。

レイクハウスの構成

┌──────────────────────────────────────┐
│         Analytics / ML / BI          │
├──────────────────────────────────────┤
│      Compute Engine                  │
│    (Spark / Presto / Trino)          │
├──────────────────────────────────────┤
│      Table Format Layer              │
│  (Delta Lake / Apache Iceberg / Hudi)│
├──────────────────────────────────────┤
│      Object Storage                  │
│    (S3 / GCS / ADLS)                │
└──────────────────────────────────────┘

テーブルフォーマットの役割

テーブルフォーマットが、オブジェクトストレージにDWHの機能を追加します：

タイムトラベルの例

-- Delta Lake: 過去のバージョンを参照
SELECT * FROM orders VERSION AS OF 5;

-- Apache Iceberg: タイムスタンプ指定
SELECT * FROM orders
FOR SYSTEM_TIME AS OF '2025-01-01 00:00:00';

メダリオンアーキテクチャ

レイクハウスで広く採用されているデータ管理パターンです。DWHの3層モデルと思想は同じですが、レイクハウスに最適化されています。

Bronze（ブロンズ層）→ Silver（シルバー層）→ Gold（ゴールド層）
   生データ              クレンジング済み         ビジネス集計

アーキテクチャの選定基準

NetShop社への提案

現状：MySQL → cron + シェルスクリプト → CSV → Excel

提案（Phase 1）：
  MySQL → Airbyte → BigQuery（DWH） → dbt → Looker

提案（Phase 2 - 将来）：
  MySQL ─────→ Airbyte → GCS（Lake）→ BigLake → dbt → Looker
  画像データ ──→                          │
  ログデータ ──→                     Iceberg format

Phase 1ではDWHで十分対応でき、将来的に非構造化データや機械学習の要件が出てきたらレイクハウスへ拡張する段階的アプローチが現実的です。

まとめ

チェックリスト

• データレイクとDWHの違いを説明できる
• レイクハウスが解決する課題を理解している
• テーブルフォーマット（Delta Lake / Iceberg）の役割を説明できる
• メダリオンアーキテクチャの3層を理解している

次のステップへ

データ基盤のアーキテクチャパターンを理解しました。次は演習で、実際にNetShop社のデータパイプラインアーキテクチャを設計してみましょう。

推定読了時間：30分