LESSON 30分

ストーリー

田中VPoE
セルフサービス基盤とリテラシー教育の設計ができた。最後のピースは「データマーケットプレイス」だ
あなた
データのマーケットプレイスですか?社内でデータを売買するということですか?
田中VPoE
売買ではないが、考え方は近い。データを「プロダクト」として提供し、利用者が「発見」「理解」「取得」できる仕組みだ。ECサイトで商品を探すように、データを探して使える環境を作る
あなた
データカタログとは違うんですか?
田中VPoE
データカタログは「目録」だ。マーケットプレイスは目録に加えて「品質保証」「利用条件」「利用実績」「フィードバック」まで含む。データを「信頼できるプロダクト」として提供する仕組みだ。データメッシュの「データプロダクト」の概念と深く結びついている

データプロダクトの概念

データメッシュにおけるデータプロダクト

項目説明
定義特定のドメインが責任を持って提供する、品質保証付きの利用可能なデータセット
所有者ドメインチーム(中央データチームではない)
品質保証SLA(鮮度、完全性、正確性)が明示されている
自己記述的メタデータ、定義、利用方法がデータに付随している

データプロダクトの構成要素

データプロダクトの構成要素:

┌──────────────────────────────────────────────────────────┐
│                   データプロダクト                         │
│                                                          │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐   │
│  │ データ本体 │ │ メタデータ │ │ 品質SLA  │ │ アクセス  │   │
│  │          │ │          │ │          │ │ ポリシー  │   │
│  │ テーブル  │ │ スキーマ  │ │ 鮮度     │ │ RBAC     │   │
│  │ ビュー   │ │ 定義     │ │ 完全性   │ │ マスキング │   │
│  │ API      │ │ リネージ  │ │ 正確性   │ │ 利用規約  │   │
│  └──────────┘ └──────────┘ └──────────┘ └──────────┘   │
│                                                          │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐                │
│  │ ドキュメント│ │ サンプル  │ │ フィード │                │
│  │          │ │ データ   │ │ バック   │                │
│  │ 利用ガイド│ │ プレビュー│ │ 評価     │                │
│  │ ユースケース│ │ クエリ例 │ │ 利用実績 │                │
│  └──────────┘ └──────────┘ └──────────┘                │
└──────────────────────────────────────────────────────────┘

データマーケットプレイスのアーキテクチャ

全体構成

データマーケットプレイス アーキテクチャ:

ユーザー向けUI
┌──────────────────────────────────────────────────────┐
│  検索 | カテゴリ | 人気ランキング | おすすめ | レビュー │
└────────────────────────┬─────────────────────────────┘

プラットフォーム層
┌────────────────────────┴─────────────────────────────┐
│  カタログサービス | 検索エンジン | レコメンドエンジン     │
│  品質モニタリング | アクセス管理 | 利用分析               │
└────────────────────────┬─────────────────────────────┘

データプロバイダー層
┌──────────┬──────────┬──────────┬──────────┬──────────┐
│ 顧客     │ 注文     │ 商品     │ 行動     │ マーケ   │
│ ドメイン │ ドメイン │ ドメイン │ ドメイン │ ドメイン │
└──────────┴──────────┴──────────┴──────────┴──────────┘

マーケットプレイスの核心機能

機能説明ECサイトとの類比
プロダクトページデータプロダクトの詳細情報商品詳細ページ
検索・フィルタキーワード、タグ、ドメインでの検索商品検索
品質バッジGold/Silver/Bronzeの品質認定レビュースコア
利用実績利用者数、クエリ数、人気度購入数、レビュー数
サンプル・プレビューデータの中身を確認商品写真、試し読み
アクセス申請利用権限の申請・承認ワークフロー購入・カート
フィードバックデータへの評価・改善リクエストレビュー・コメント
おすすめ利用パターンに基づく関連データ提案レコメンド

データプロダクトの品質認定制度

3段階の認定

認定基準対象
GoldSLA遵守率99%以上、品質スコア95点以上、ドキュメント完備、オーナー明確経営判断に使用するデータ
SilverSLA遵守率95%以上、品質スコア80点以上、基本ドキュメントあり業務判断に使用するデータ
Bronze品質チェック実施済み、スキーマ定義あり探索・実験用データ
未認定品質チェック未実施利用非推奨(raw data)

品質スコアの算出

指標重み測定方法
完全性25%NULL値の割合
正確性25%既知のルールへの準拠率
鮮度20%最終更新からの経過時間 / SLA
一貫性15%関連テーブル間の整合性
一意性15%重複レコードの割合

データマーケットプレイスの運営

データプロダクトのライフサイクル

フェーズ活動責任者
企画利用者のニーズ把握、プロダクト定義データオーナー
開発データパイプライン構築、品質チェック実装データエンジニア
レビュー品質認定審査、セキュリティレビューデータスチュワード
公開マーケットプレイスへの登録データオーナー
運用SLA監視、品質モニタリング、フィードバック対応データスチュワード
改善利用状況分析、品質改善、機能追加ドメインチーム
廃止利用者への通知、移行支援、アーカイブデータオーナー

フィードバックループの設計

フィードバック種別取得方法活用方法
利用頻度アクセスログの自動集計人気プロダクトの把握、低利用プロダクトの改善
品質報告ユーザーからの「データ不備報告」ボタン品質問題の早期発見・修正
評価・レビュー5段階評価 + コメントプロダクトの改善優先順位付け
要望「こんなデータが欲しい」リクエスト新プロダクトの企画
利用事例ユーザーからの成功事例の投稿ベストプラクティスの横展開

構築の技術的アプローチ

技術スタック例

コンポーネント選択肢選定基準
カタログ基盤DataHub / OpenMetadataメタデータ自動収集、API提供
検索エンジンElasticsearch全文検索、ファセット検索
品質エンジンGreat Expectations / dbt tests自動品質チェック、SLA監視
アクセス管理Apache Ranger / AWS Lake Formation細粒度制御、監査ログ
UI/UXカスタムWebアプリ / カタログツールのUIユーザー体験の設計

段階的な構築アプローチ

フェーズ期間構築内容成果
v0.11-2ヶ月既存カタログツールの導入、主要5プロダクトの登録最小限の検索・発見
v0.53-4ヶ月品質スコア導入、アクセス申請ワークフロー、20プロダクト品質認定の運用開始
v1.06-9ヶ月フィードバック機能、レコメンド、全ドメインのプロダクト化本格運用
v2.012ヶ月以降自動プロダクト生成、AIによる発見支援、外部データ連携高度化

「データマーケットプレイスの成功は技術ではなく”文化”で決まる。データを提供する側が『自分のデータを他の人に使ってもらいたい』と思える仕組みを作ること。データを使う側が『簡単に見つけて、すぐ使える』と実感できること。この両面の体験設計が鍵だ」 — 田中VPoE


まとめ

ポイント内容
データプロダクト品質保証付き・自己記述的な利用可能データセット
マーケットプレイスデータの発見・理解・取得・フィードバックを支援する基盤
品質認定制度Gold/Silver/Bronzeの3段階で信頼性を可視化
段階的構築最小限のカタログから始めて段階的に高度化

チェックリスト

  • データプロダクトの概念と構成要素を理解した
  • マーケットプレイスの核心機能を把握した
  • 品質認定制度の3段階を理解した
  • データプロダクトのライフサイクルを把握した
  • 段階的な構築アプローチを理解した

次のステップへ

次は演習です。Step 3で学んだ内容を総動員して、FreshCart社のデータ民主化計画を策定しましょう。


推定読了時間: 30分