ストーリー

メタデータの種類

基本メタデータ

ドキュメントから自動的に取得できるメタデータです。

構造メタデータ

ドキュメントの構造から抽出するメタデータです。

エンリッチメントメタデータ

LLMや機械学習モデルを使って自動生成するメタデータです。

LLMによるメタデータ自動生成

仮想質問生成（Hypothetical Questions）

チャンクの内容に基づいて、「このチャンクが回答になるような質問」をLLMに生成させる手法です。

仮想質問生成の流れ:

チャンク内容: "Qdrantはベクトルの類似度検索に特化したデータベースです。
Rust製で高パフォーマンス、ハイブリッド検索にも対応しています。"

→ LLMで仮想質問を生成:
  Q1: "Qdrantとは何ですか？"
  Q2: "高パフォーマンスなベクトルDBは？"
  Q3: "ハイブリッド検索に対応したベクトルDBは？"

→ 仮想質問もEmbedding化してインデックスに格納
→ ユーザーのクエリが仮想質問とマッチしやすくなる

効果: ユーザーの質問とドキュメントの表現ギャップを埋める

自動要約の付加

自動要約の活用:

チャンク:
{
  "content": "（500トークンの詳細な技術説明）",
  "metadata": {
    "summary": "QdrantはRust製のベクトルDBで、高速な類似度検索と
                ハイブリッド検索を提供する。HNSWインデックスを使用し、
                メタデータフィルタリングにも対応。",
    "keywords": ["Qdrant", "ベクトルDB", "HNSW", "ハイブリッド検索"],
    "category": "インフラ/データベース"
  }
}

メタデータスキーマ設計

NetShop社のメタデータスキーマ

{
  // 基本メタデータ
  "doc_id": "string",
  "source": "string",           // "confluence" | "notion" | "wiki"
  "source_url": "string",
  "created_at": "datetime",
  "updated_at": "datetime",
  "author": "string",

  // 分類メタデータ
  "doc_type": "string",         // "技術文書" | "議事録" | "FAQ"
  "department": "string",       // "開発部" | "インフラ部" | "CS部"
  "project": "string",          // プロジェクト名
  "tags": ["string"],           // タグ一覧

  // 構造メタデータ
  "section_title": "string",    // セクション見出し
  "breadcrumb": "string",       // パンくずパス
  "has_code": "boolean",
  "has_table": "boolean",
  "chunk_index": "integer",     // チャンクの順番
  "total_chunks": "integer",    // 元ドキュメントの総チャンク数

  // エンリッチメントメタデータ
  "summary": "string",
  "keywords": ["string"],
  "hypothetical_questions": ["string"],
  "tech_stack": ["string"],
  "difficulty": "string"        // "初級" | "中級" | "上級"
}

メタデータ設計のベストプラクティス

メタデータの品質管理

「メタデータの品質がフィルタリングの品質を決める。ゴミを入れるとゴミが出てくるのはRAGでもメタデータでも同じだ」 — 田中VPoE

まとめ

チェックリスト

• メタデータの3つの種類（基本/構造/エンリッチメント）を理解した
• 仮想質問生成の仕組みと効果を理解した
• メタデータスキーマの設計原則を理解した
• メタデータの品質管理手法を理解した

次のステップへ

次は「前処理パイプライン設計」を学びます。ドキュメントローディング、チャンキング、メタデータ抽出を統合したETLパイプラインを設計しましょう。

推定読了時間: 30分