LESSON 15分

データパイプライン入門

田中VPoE「おはよう。今日は深刻な話がある。昨夜、売上レポートの集計バッチが失敗して、経営会議の資料が出せなかったんだ。」

あなた「えっ、それは大変ですね。原因は何だったんですか？」

田中VPoE「原因を調べてみたら、3年前に誰かが書いたシェルスクリプトがcronで動いていて、参照先のテーブル名が変わっていたんだ。エラー通知も設定されていなかった。こういう問題が月に何回も起きている。」

あなた「それは…構造的な問題ですね。」

田中VPoE「そうだ。だから君に、Modern Data Stackを使った信頼性のあるデータパイプラインを設計してほしい。まずはデータパイプラインの全体像を理解するところから始めよう。」

データパイプラインとは何か

データパイプラインとは、データの収集・変換・格納・配信を自動化する一連の処理フローのことです。

生データがビジネス価値のある情報に変わるまでには、多くのステップが必要です。データパイプラインは、これらのステップを体系的に管理し、信頼性を持って実行する仕組みです。

なぜデータパイプラインが必要なのか

シェルスクリプト乱立の問題

多くの組織が直面する「データ基盤の負債」を整理しましょう：

問題影響頻度
cronジョブの失敗を検知できないデータの欠損・不整合週に数回
スクリプト間の依存関係が不明変更時の影響範囲が読めない変更のたび
エラー時の再実行が手動深夜の緊急対応が発生月に数回
データの品質チェックがない不正確なレポートが配信される常時
ドキュメントがない担当者退職で属人化慢性的

データパイプラインが解決すること

信頼性のあるデータパイプラインは以下の価値を提供します：

  1. 可視性：データがどこから来て、どう変換され、どこに届くかが明確
  2. 信頼性：障害時の自動リトライ、エラー通知、リカバリ手順の整備
  3. スケーラビリティ：データ量の増加に対応できるアーキテクチャ
  4. 再現性：同じ入力に対して常に同じ出力を保証
  5. 監査可能性：いつ、何が、どう処理されたかの記録

データパイプラインの基本構成

データパイプラインは大きく3つのフェーズで構成されます：

ETL vs ELT

項目ETLELT
正式名称Extract-Transform-LoadExtract-Load-Transform
変換の場所パイプライン内（中間サーバー）データウェアハウス内
適したケースオンプレミス、データ量が少ないクラウドDWH、大量データ
代表的ツールInformatica, Talenddbt, Dataform
現在のトレンドレガシー寄り主流

現在のModern Data Stackでは、ELTパターンが主流です。クラウドDWHの計算能力を活かし、データをまず格納してからDWH内で変換を行います。

パイプラインの主要コンポーネント

[データソース] → [Ingestion] → [Storage] → [Transform] → [Serve]
   DB, API,        Fivetran,     BigQuery,     dbt,        BI Tool,
   ファイル,       Airbyte       Snowflake     Spark       API
   IoT                           S3/GCS

各コンポーネントの役割：

コンポーネント役割代表的ツール
Ingestion（取り込み）ソースからデータを抽出・ロードFivetran, Airbyte, Embulk
Storage（格納）データを一元的に保管BigQuery, Snowflake, Redshift
Transform（変換）ビジネスロジックに基づく加工dbt, Spark, Dataform
Orchestration（統制）処理フローの管理・スケジューリングAirflow, Dagster, Prefect
Serve（配信）分析・可視化への提供Looker, Tableau, Metabase

データパイプラインの種類

種類処理タイミングレイテンシユースケース
バッチ処理定期実行（日次・時次）分〜時間日次レポート、月次集計
マイクロバッチ短間隔の定期実行秒〜分準リアルタイムダッシュボード
ストリーミングイベント駆動・連続処理ミリ秒〜秒不正検知、リアルタイム推薦

まとめ

項目ポイント
データパイプラインの目的データの収集・変換・格納・配信の自動化
現在のトレンドETLからELTへ、クラウドDWH活用
主要コンポーネントIngestion → Storage → Transform → Serve
オーケストレーション処理フロー全体を管理・監視する仕組み

チェックリスト

  • データパイプラインの定義と目的を説明できる
  • ETLとELTの違いを理解している
  • パイプラインの主要コンポーネントを列挙できる
  • バッチ処理とストリーミング処理の違いを説明できる

次のステップへ

データパイプラインの基本概念を理解しました。次は、Modern Data Stackの全体像と各レイヤーの具体的なツールについて詳しく学びましょう。

推定読了時間：15分