ストーリー

ドキュメント形式別の処理

主要な形式と処理方法

テキスト抽出のアーキテクチャ

ドキュメントローダーのアーキテクチャ:

[ドキュメントソース]
├── ファイルシステム（Markdown, PDF, docx）
├── クラウドストレージ（S3, GCS）
├── SaaSプラットフォーム（Confluence, Notion, Google Docs）
└── データベース（Wiki, CMS）
    ↓
[Document Loader]
├── FormatDetector（形式判定）
├── TextExtractor（テキスト抽出）
├── StructureParser（構造解析）
├── MetadataExtractor（メタデータ抽出）
└── Cleaner（クリーニング）
    ↓
[統一ドキュメント形式]
{
  "content": "抽出されたテキスト",
  "metadata": { ... },
  "structure": { "headings": [...], "tables": [...] }
}

PDF処理の実践

PDFはRAGで最も頻繁に扱う形式の一つですが、処理が最も困難でもあります。

PDFの種類と対応

テーブルの処理

「テーブルの処理はRAGのアキレス腱だ。テーブルの内容をそのままテキスト化すると意味が崩れる。行と列の関係を保持した形でテキスト化するか、テーブル専用の検索パスを用意するかを検討する必要がある」 — 田中VPoE

構造の保持

ヘッダー階層の重要性

ドキュメントのヘッダー構造は、コンテキストの理解に不可欠です。

ヘッダー階層の保持例:

# RAGシステム設計ガイド
## 3. ベクトルDB
### 3.1 インデックス設計
インデックスのパラメータは以下の通り...

→ チャンク化する際に「3.1 インデックス設計」のテキストだけでなく、
  上位ヘッダー「RAGシステム設計ガイド > ベクトルDB > インデックス設計」
  というパンくず情報を付加する

コードブロックの扱い

データクリーニング

よくあるノイズと対処

クリーニングパイプラインの例:

Raw Text
  → Unicode正規化（NFKC）
  → HTMLタグ除去
  → 特殊文字の除去/置換
  → 空白の正規化
  → ヘッダー/フッター除去
  → 重複コンテンツの検出・除去
  → Clean Text

まとめ

チェックリスト

• ドキュメント形式別の処理方法を理解した
• PDF処理の課題と対処法を理解した
• 構造保持の重要性を理解した
• データクリーニングのパイプラインを理解した

次のステップへ

次は「チャンキング戦略」を学びます。抽出したテキストをどのように分割するかは、RAGの検索品質に最も大きな影響を与えます。

推定読了時間: 30分