ストーリー

テキストのベクトル化

Embeddingとは

Embeddingは、テキスト（単語、文、段落）を固定長の数値ベクトルに変換する処理です。

Embedding変換の例:

"RAGシステムの構築方法" → [0.023, -0.156, 0.892, ..., 0.445]
                          ↑ 1536次元のベクトル（OpenAI text-embedding-3-small）

"検索拡張生成の実装手順" → [0.019, -0.148, 0.887, ..., 0.451]
                          ↑ 意味が近いため、ベクトルも近い

"今日の天気予報"         → [0.756, 0.312, -0.045, ..., -0.221]
                          ↑ 意味が異なるため、ベクトルも遠い

意味的類似度の計算

ベクトル間の類似度を計算する主要な手法は以下の通りです。

コサイン類似度の計算:

similarity(A, B) = (A・B) / (|A| × |B|)

例:
"RAGシステム構築" vs "検索拡張生成実装" → 0.92（非常に類似）
"RAGシステム構築" vs "今日の天気予報"   → 0.15（ほぼ無関係）
"RAGシステム構築" vs "ベクトルDB設計"   → 0.78（関連性あり）

「コサイン類似度が0.8以上なら強い関連、0.5-0.8は中程度の関連、0.5未満は弱い関連と考えるのが目安だ」 — 田中VPoE

Embeddingモデルの種類と比較

主要なEmbeddingモデル

モデル選定の基準

選定フローチャート:

コスト制約が厳しい？
├── Yes → OSSモデル（multilingual-e5-large, BGE-M3）
└── No → 精度最優先？
          ├── Yes → text-embedding-3-large or voyage-3
          └── No → text-embedding-3-small（コスパ良好）

Embeddingの実践的な考慮事項

クエリとドキュメントの非対称性

検索クエリとドキュメントは性質が異なります。一部のモデルは非対称検索に最適化されています。

非対称Embedding（Instruction付き）の例:

# E5モデルの場合、プレフィックスを付与
query:     "query: RAGの検索精度を上げるには？"
document:  "passage: RAGの検索精度を向上させるためには、..."

Embeddingの次元削減

高次元のEmbeddingは精度が高い一方、ストレージとクエリ速度に影響します。

OpenAI text-embedding-3モデルは dimensions パラメータで次元数を指定可能。精度とコストのトレードオフを調整できる。

バッチ処理の最適化

大量ドキュメントをEmbedding化する場合のベストプラクティス:

まとめ

チェックリスト

• Embeddingの基本概念と目的を理解した
• コサイン類似度による類似度計算を理解した
• 主要なEmbeddingモデルの特徴を比較できる
• モデル選定の基準を理解した

次のステップへ

次は「ベクトルDBの全体像」を学びます。Embeddingで生成したベクトルを効率的に格納・検索するためのベクトルDBの選定基準を理解しましょう。

推定読了時間: 30分