ストーリー

検索パイプラインの全体設計

パイプラインの構成

検索パイプラインの全体像:

[Input Layer]
ユーザーのクエリ
    ↓
[Query Processing]
├── クエリの前処理（正規化、長さ制限）
├── 自動フィルタ抽出（LLM）
└── クエリのEmbedding生成
    ↓
[Retrieval Layer]
├── ベクトル検索（Top-20）
├── キーワード検索 / BM25（Top-20）
└── Reciprocal Rank Fusion → Top-20統合
    ↓
[Post-Processing Layer]
├── Reranker（Cross-Encoder）→ Top-5
├── コンテキスト圧縮（不要部分の除去）
└── 参照元メタデータの抽出
    ↓
[Generation Layer]
├── プロンプト構築（システムプロンプト + コンテキスト + クエリ）
├── LLM呼び出し（Claude API）
└── 出力パース（回答 + 参照元）
    ↓
[Output Layer]
回答テキスト + 参照ドキュメントリスト

Retriever設計

Top-K の設定指針

Top-Kの段階的絞り込み:

初回検索: 20件 × 2（ベクトル + BM25）= 40件
    ↓ RRF統合 + 重複除去
統合結果: 20件
    ↓ Reranker
最終結果: 5件 → LLMに渡す

プロンプト構築

RAG用プロンプトテンプレート

プロンプト構成:

[システムプロンプト]
あなたはNetShop社の社内ナレッジアシスタントです。
以下のルールに従って質問に回答してください：
- 提供されたコンテキストの情報のみに基づいて回答すること
- コンテキストに情報がない場合は「該当する情報が見つかりませんでした」と回答すること
- 回答の最後に参照元ドキュメントを明示すること
- 推測や外部知識での補完は行わないこと

[コンテキスト]
以下は関連するドキュメントです：

---
出典: {source_1_title}（{source_1_url}）
{chunk_1_content}
---
出典: {source_2_title}（{source_2_url}）
{chunk_2_content}
---
...

[ユーザーの質問]
{user_query}

プロンプト設計のポイント

レイテンシ最適化

パイプライン各段階のレイテンシ目安

ストリーミング応答

ストリーミングの効果:

非ストリーミング:
[検索: 0.5s][Rerank: 0.3s][LLM生成: 2s][ 表示 ]
→ ユーザーの待ち時間: 2.8秒（すべて完了まで何も表示されない）

ストリーミング:
[検索: 0.5s][Rerank: 0.3s][LLM生成開始 → トークンが逐次表示...]
→ ユーザーの体感待ち時間: 0.8秒（最初のトークンが表示されるまで）

エラーハンドリング

「パイプラインのどこが壊れても、ユーザーに適切なフィードバックを返すこと。沈黙は最悪のUXだ」 — 田中VPoE

まとめ

チェックリスト

• 検索パイプラインの全体構成を理解した
• Top-Kの段階的絞り込みの設計原則を理解した
• RAG用プロンプトの設計ポイントを理解した
• レイテンシ最適化とストリーミングの効果を理解した

次のステップへ

次は「演習：検索パイプラインを構築しよう」です。ここまでの知識を統合して、NetShop社の検索パイプラインを設計しましょう。

推定読了時間: 30分