ストーリー

継続的品質改善のフレームワーク

DMAIC サイクル（データ品質版）

DMAICの適用例

DMAICの適用例: 「商品マスターの重複率5%を1%以下に改善」

D（定義）:
  - 対象: 商品マスターテーブル（15,000SKU）
  - 目標: 重複率 5% → 1%以下（3ヶ月以内）
  - ビジネスインパクト: 重複による在庫管理エラー年間200件の解消

M（測定）:
  - 現状: 750件の重複（名寄せ前の商品名、JAN違いの同一商品）
  - 発生率: 月50件の新規重複が発生
  - パターン: 70%が手動登録時のミス、30%がCSVインポートの不整合

A（分析）:
  - 根本原因1: 商品登録に重複チェックがない（手動登録）
  - 根本原因2: CSVインポート時のマッチングロジックが不完全
  - 根本原因3: 商品コード体系が統一されていない

I（改善）:
  - 施策1: 商品登録画面に類似商品サジェスト機能を追加
  - 施策2: CSVインポートにファジーマッチングを導入
  - 施策3: 既存750件の重複を名寄せクレンジング

C（管理）:
  - 日次で重複チェックを自動実行
  - 新規重複の発生をSlackアラート
  - 月次で重複率をモニタリング

予防的品質管理

シフトレフト戦略

品質問題のコストと検知タイミング:

検知コスト:
  ソース     パイプライン    DWH      BI/レポート    意思決定
  （入力時）  （処理時）   （保存時）   （利用時）     （影響時）
    $1         $10         $100       $1,000       $10,000

→ 品質チェックを「左」（上流）にシフトするほどコストが低い

シフトレフトの施策:
  ├── アプリケーション側のバリデーション強化
  ├── APIの入力チェック
  ├── パイプラインの入り口での品質ゲート
  └── スキーマ変更の事前レビュー

品質ゲート（Quality Gate）の設計

データテストの自動化

テストピラミッド（データ品質版）

データ品質テストピラミッド:

              ╱╲
             ╱  ╲
            ╱ E2E ╲         統合テスト（少数・高コスト）
           ╱テスト  ╲        BI → DWH → パイプラインの
          ╱──────────╲       結果整合性
         ╱ 統合テスト  ╲      テーブル間の整合性
        ╱              ╲     外部キー、集計値
       ╱────────────────╲
      ╱  ユニットテスト   ╲    カラム単位の品質チェック
     ╱                    ╲   NULL、範囲、フォーマット
    ╱──────────────────────╲  （多数・低コスト）

テストカバレッジの目標

テスト自動化の実装例（dbt tests）

# dbt testsの定義例（schema.yml）

models:
  - name: daily_sales_summary
    description: "日次売上サマリー"
    columns:
      - name: order_date
        tests:
          - not_null
          - dbt_expectations.expect_column_values_to_be_between:
              min_value: "2020-01-01"
              max_value: "{{ current_date }}"
      - name: total_revenue
        tests:
          - not_null
          - dbt_expectations.expect_column_values_to_be_between:
              min_value: 0
              max_value: 100000000
      - name: order_count
        tests:
          - not_null
          - dbt_expectations.expect_column_values_to_be_between:
              min_value: 0
    tests:
      - dbt_expectations.expect_table_row_count_to_be_between:
          min_value: 1
          max_value: 1000
      - dbt_utils.unique_combination_of_columns:
          combination_of_columns:
            - order_date
            - channel
            - region

AI/MLを活用した品質管理

自動アノマリ検知

品質予測

継続的改善のガバナンス

品質改善スプリント

改善効果の測定

「継続的品質改善の最大の敵は”もう十分だ”という油断だ。品質は放置すれば必ず劣化する。新しいデータソース、システム変更、人の入れ替わり — 常に品質を脅かす要因が生まれる。だからこそ、改善のサイクルを”仕組み”として回し続けることが重要だ」 — 田中VPoE

まとめ

チェックリスト

• DMAICサイクルのデータ品質への適用方法を理解した
• シフトレフト戦略と品質ゲートの設計を把握した
• データ品質テストピラミッドを理解した
• AI/MLを活用した品質管理の手法を把握した
• 品質改善スプリントの運営方法を理解した

次のステップへ

次は演習です。Step 4で学んだ内容を総動員して、FreshCart社のデータ品質管理体制を設計しましょう。

推定読了時間: 30分