EXERCISE 90分

ストーリー

田中VPoE
ここまでの5つのStepで、RAGシステム構築に必要なすべての要素を学んだ。最後の総合演習だ
あなた
RAGアーキテクチャ、ドキュメント処理、検索パイプライン、精度最適化、評価と運用…全部ですね
田中VPoE
そうだ。CTOに提出する「社内ナレッジRAGシステム設計書」を完成させる。この設計書が承認されれば、開発プロジェクトが正式にスタートする

田中VPoEは真剣な表情で続けました。

田中VPoE
この設計書はエンジニアの自己満足であってはならない。なぜこのアーキテクチャなのか、なぜこの技術選定なのか、想定されるリスクとその対策。読んだCTOが「この設計で進めよう」と判断できるレベルにしてくれ
あなた
5つのStepで学んだ知識を統合し、一貫性のある設計書にまとめます

ミッション概要

項目内容
演習タイトル社内ナレッジRAGシステム設計書
想定時間90分
成果物RAGシステム設計書(CTO承認用)

設計書の構成

以下の7章構成に従って、社内ナレッジRAGシステム設計書を作成してください。

第1章: エグゼクティブサマリー

計画全体の要旨を簡潔にまとめてください。

項目内容
背景社内ナレッジ検索の現状課題(2-3行)
提案RAGシステムで何を実現するか(2-3行)
投資必要な投資額(初年度・年間ランニング)
効果期待される定量的効果
タイムライン主要マイルストーン(3フェーズ)
解答例

背景: 社内の技術文書38,000件が多様なプラットフォームに散在し、開発チーム200名が必要な情報を見つけるのに1日平均30分を費やしている。既存の全文検索では言い換えや意味的な検索に対応できず、結果として「詳しい人に聞く」という非効率な情報共有が常態化している。

提案: RAG(Retrieval-Augmented Generation)技術を活用した社内ナレッジ検索システムを構築する。自然言語で質問すれば、社内の技術文書・議事録・FAQから根拠付きの回答が得られるシステムにより、情報アクセス時間を80%削減する。

投資:

  • 初期構築費: 約300万円(開発3名 × 6ヶ月の工数除く)
  • 年間ランニングコスト: 約300万円(API利用料 + インフラ費)

効果:

  • 情報検索時間の削減: 200名 × 30分 × 80% × 250日 = 年間20,000時間削減
  • 人件費換算: 年間約1.2億円の効率化効果
  • ROI: 初年度 2,000%超

タイムライン:

  • Phase 1(0-3ヶ月): Naive RAG + Reranking。技術文書対象でPoC
  • Phase 2(3-6ヶ月): Advanced RAG。全ドキュメント対象で本番リリース
  • Phase 3(6-12ヶ月): 精度最適化、利用拡大、高度なパターン導入

第2章: アーキテクチャ設計(Step 1の成果)

  1. RAGアーキテクチャの選定(段階的進化計画)
  2. 技術スタック選定と理由
  3. 全体アーキテクチャ図(AWS構成)
解答例

アーキテクチャ進化計画:

Phaseアーキテクチャ主要コンポーネント
1Naive RAG + RerankingQdrant + OpenAI Embedding + Cohere Rerank + Claude
2Advanced RAG+ Query Rewriting + ハイブリッド検索 + メタデータフィルタ
3Modular RAG+ クエリルーティング + Self-RAG + 評価自動化

技術スタック:

コンポーネント選定代替案選定理由
ベクトルDBQdrant(セルフホスト)pgvectorハイブリッド検索、高パフォーマンス
Embeddingtext-embedding-3-smallBGE-M3日本語対応、コスト効率
LLMClaude 3.5 SonnetGPT-4o日本語品質、長コンテキスト
RerankerCohere Rerank v3bge-reranker多言語対応、API利用で運用負荷低
フレームワークLangChainLlamaIndexエコシステム充実
インフラAWS(ECS + EC2 + S3)-既存環境を活用

第3章: ドキュメント処理設計(Step 2の成果)

  1. ドキュメント種別ごとのチャンキング戦略
  2. メタデータスキーマ
  3. 前処理パイプラインのアーキテクチャ
解答例

チャンキング戦略:

ドキュメント手法サイズオーバーラップ
技術文書構造ベース + 階層的セクション単位10%
議事録固定長 + 議題ベース400トークン20%
FAQQ&Aペア単位1ペアなし

パイプライン:

  • トリガー: Webhook(Confluence/Notion) + EventBridge(定期同期)
  • 処理: SQS → Step Functions → Lambda
  • 冪等性: コンテンツハッシュによる変更検知
  • 監視: CloudWatch → Slack通知

第4章: 検索パイプライン設計(Step 3の成果)

  1. 検索パイプラインの全体フロー
  2. ハイブリッド検索の設定
  3. メタデータフィルタリング設計
  4. プロンプト設計
解答例

パイプラインフロー:

Query → フィルタ抽出(Haiku) → Embedding(OpenAI) → Hybrid Search(Qdrant)
→ RRF統合(Top-15) → Reranking(Cohere, Top-5) → Prompt構築
→ LLM生成(Claude Sonnet) → 回答 + 参照元

ハイブリッド検索: ベクトル検索(alpha=0.6) + BM25(alpha=0.4)、RRF(k=60)で統合

プロンプト設計: コンテキストのみに基づく回答を指示、参照元明示、不明時の対応を定義


第5章: 精度最適化計画(Step 4の成果)

  1. Phase別の最適化手法
  2. 各手法の効果見積もり
  3. A/Bテスト計画
解答例
Phase最適化手法期待効果
Phase 1RerankingPrecision@5: 0.60→0.80
Phase 2+ Query Rewriting + ハイブリッド重み調整Precision@5: 0.80→0.85
Phase 3+ 軽量Self-RAG + クエリルーティングPrecision@5: 0.85→0.90, Faithfulness: 0.90+

A/Bテスト: 評価データセット100件、1週間のA/Bテストで効果検証。Precision@5が10%以上向上をGo基準とする。


第6章: 評価・運用設計(Step 5の成果)

  1. 評価フレームワーク(RAGAS指標と目標値)
  2. モニタリング設計(ダッシュボード + アラート)
  3. インデックス更新戦略
  4. コスト管理計画
解答例

評価目標:

指標Phase 1目標Phase 2目標Phase 3目標
Faithfulness0.800.850.90
Answer Relevance0.750.800.85
Context Precision0.700.800.85
Context Recall0.750.800.85
レイテンシ P955秒5秒4秒
ユーザー満足度70%80%85%

運用:

  • インデックス更新: 差分更新(日次)+ Blue-Green全量再構築(月次)
  • モニタリング: CloudWatch + Grafanaダッシュボード
  • コスト: 月30万円以内。セマンティックキャッシュとモデルティアリングで最適化

第7章: リスクとロードマップ

  1. 主要リスクと緩和策
  2. 3フェーズのロードマップ(マイルストーン付き)
  3. 成功基準とKPI
  4. 推進体制
解答例

主要リスク:

リスク影響確率緩和策
検索精度が目標に達しないPhase 1でPoC検証、段階的改善
API利用料の想定超過セマンティックキャッシュ、月次コストレビュー
ユーザー定着率の低さチャンピオンユーザー制度、改善フィードバックループ
セキュリティインシデント入力バリデーション、出力フィルタリング、監査ログ

ロードマップ:

Phase期間マイルストーン成功基準
10-3ヶ月技術文書対象のPoC完成Precision@5 > 0.60, 利用者30名
23-6ヶ月全ドキュメント対象で本番リリース利用者150名, 満足度80%
36-12ヶ月精度最適化、全社展開利用者200名, Faithfulness 0.90

推進体制:

  • PM: 1名(プロジェクト管理、ステークホルダー調整)
  • バックエンドエンジニア: 2名(パイプライン、API開発)
  • インフラエンジニア: 1名(ベクトルDB、AWS構成)

達成度チェック

観点達成基準
一貫性7章すべてが相互に整合し、ストーリーとして繋がっている
具体性技術選定の理由、数値目標、コスト試算が具体的
実現可能性予算・人員・時間の制約内で実現可能な計画
段階性Phase 1-3の段階的なアプローチが明確
リスク対応主要リスクに対する具体的な緩和策
網羅性アーキテクチャ、ドキュメント処理、検索、最適化、評価、運用のすべてをカバー
説得力CTOが「この設計で進めよう」と判断できるレベルの根拠

推定所要時間: 90分