ストーリー
田中VPoEは真剣な表情で続けました。
ミッション概要
| 項目 | 内容 |
|---|---|
| 演習タイトル | 社内ナレッジRAGシステム設計書 |
| 想定時間 | 90分 |
| 成果物 | RAGシステム設計書(CTO承認用) |
設計書の構成
以下の7章構成に従って、社内ナレッジRAGシステム設計書を作成してください。
第1章: エグゼクティブサマリー
計画全体の要旨を簡潔にまとめてください。
| 項目 | 内容 |
|---|---|
| 背景 | 社内ナレッジ検索の現状課題(2-3行) |
| 提案 | RAGシステムで何を実現するか(2-3行) |
| 投資 | 必要な投資額(初年度・年間ランニング) |
| 効果 | 期待される定量的効果 |
| タイムライン | 主要マイルストーン(3フェーズ) |
解答例
背景: 社内の技術文書38,000件が多様なプラットフォームに散在し、開発チーム200名が必要な情報を見つけるのに1日平均30分を費やしている。既存の全文検索では言い換えや意味的な検索に対応できず、結果として「詳しい人に聞く」という非効率な情報共有が常態化している。
提案: RAG(Retrieval-Augmented Generation)技術を活用した社内ナレッジ検索システムを構築する。自然言語で質問すれば、社内の技術文書・議事録・FAQから根拠付きの回答が得られるシステムにより、情報アクセス時間を80%削減する。
投資:
- 初期構築費: 約300万円(開発3名 × 6ヶ月の工数除く)
- 年間ランニングコスト: 約300万円(API利用料 + インフラ費)
効果:
- 情報検索時間の削減: 200名 × 30分 × 80% × 250日 = 年間20,000時間削減
- 人件費換算: 年間約1.2億円の効率化効果
- ROI: 初年度 2,000%超
タイムライン:
- Phase 1(0-3ヶ月): Naive RAG + Reranking。技術文書対象でPoC
- Phase 2(3-6ヶ月): Advanced RAG。全ドキュメント対象で本番リリース
- Phase 3(6-12ヶ月): 精度最適化、利用拡大、高度なパターン導入
第2章: アーキテクチャ設計(Step 1の成果)
- RAGアーキテクチャの選定(段階的進化計画)
- 技術スタック選定と理由
- 全体アーキテクチャ図(AWS構成)
解答例
アーキテクチャ進化計画:
| Phase | アーキテクチャ | 主要コンポーネント |
|---|---|---|
| 1 | Naive RAG + Reranking | Qdrant + OpenAI Embedding + Cohere Rerank + Claude |
| 2 | Advanced RAG | + Query Rewriting + ハイブリッド検索 + メタデータフィルタ |
| 3 | Modular RAG | + クエリルーティング + Self-RAG + 評価自動化 |
技術スタック:
| コンポーネント | 選定 | 代替案 | 選定理由 |
|---|---|---|---|
| ベクトルDB | Qdrant(セルフホスト) | pgvector | ハイブリッド検索、高パフォーマンス |
| Embedding | text-embedding-3-small | BGE-M3 | 日本語対応、コスト効率 |
| LLM | Claude 3.5 Sonnet | GPT-4o | 日本語品質、長コンテキスト |
| Reranker | Cohere Rerank v3 | bge-reranker | 多言語対応、API利用で運用負荷低 |
| フレームワーク | LangChain | LlamaIndex | エコシステム充実 |
| インフラ | AWS(ECS + EC2 + S3) | - | 既存環境を活用 |
第3章: ドキュメント処理設計(Step 2の成果)
- ドキュメント種別ごとのチャンキング戦略
- メタデータスキーマ
- 前処理パイプラインのアーキテクチャ
解答例
チャンキング戦略:
| ドキュメント | 手法 | サイズ | オーバーラップ |
|---|---|---|---|
| 技術文書 | 構造ベース + 階層的 | セクション単位 | 10% |
| 議事録 | 固定長 + 議題ベース | 400トークン | 20% |
| FAQ | Q&Aペア単位 | 1ペア | なし |
パイプライン:
- トリガー: Webhook(Confluence/Notion) + EventBridge(定期同期)
- 処理: SQS → Step Functions → Lambda
- 冪等性: コンテンツハッシュによる変更検知
- 監視: CloudWatch → Slack通知
第4章: 検索パイプライン設計(Step 3の成果)
- 検索パイプラインの全体フロー
- ハイブリッド検索の設定
- メタデータフィルタリング設計
- プロンプト設計
解答例
パイプラインフロー:
Query → フィルタ抽出(Haiku) → Embedding(OpenAI) → Hybrid Search(Qdrant)
→ RRF統合(Top-15) → Reranking(Cohere, Top-5) → Prompt構築
→ LLM生成(Claude Sonnet) → 回答 + 参照元
ハイブリッド検索: ベクトル検索(alpha=0.6) + BM25(alpha=0.4)、RRF(k=60)で統合
プロンプト設計: コンテキストのみに基づく回答を指示、参照元明示、不明時の対応を定義
第5章: 精度最適化計画(Step 4の成果)
- Phase別の最適化手法
- 各手法の効果見積もり
- A/Bテスト計画
解答例
| Phase | 最適化手法 | 期待効果 |
|---|---|---|
| Phase 1 | Reranking | Precision@5: 0.60→0.80 |
| Phase 2 | + Query Rewriting + ハイブリッド重み調整 | Precision@5: 0.80→0.85 |
| Phase 3 | + 軽量Self-RAG + クエリルーティング | Precision@5: 0.85→0.90, Faithfulness: 0.90+ |
A/Bテスト: 評価データセット100件、1週間のA/Bテストで効果検証。Precision@5が10%以上向上をGo基準とする。
第6章: 評価・運用設計(Step 5の成果)
- 評価フレームワーク(RAGAS指標と目標値)
- モニタリング設計(ダッシュボード + アラート)
- インデックス更新戦略
- コスト管理計画
解答例
評価目標:
| 指標 | Phase 1目標 | Phase 2目標 | Phase 3目標 |
|---|---|---|---|
| Faithfulness | 0.80 | 0.85 | 0.90 |
| Answer Relevance | 0.75 | 0.80 | 0.85 |
| Context Precision | 0.70 | 0.80 | 0.85 |
| Context Recall | 0.75 | 0.80 | 0.85 |
| レイテンシ P95 | 5秒 | 5秒 | 4秒 |
| ユーザー満足度 | 70% | 80% | 85% |
運用:
- インデックス更新: 差分更新(日次)+ Blue-Green全量再構築(月次)
- モニタリング: CloudWatch + Grafanaダッシュボード
- コスト: 月30万円以内。セマンティックキャッシュとモデルティアリングで最適化
第7章: リスクとロードマップ
- 主要リスクと緩和策
- 3フェーズのロードマップ(マイルストーン付き)
- 成功基準とKPI
- 推進体制
解答例
主要リスク:
| リスク | 影響 | 確率 | 緩和策 |
|---|---|---|---|
| 検索精度が目標に達しない | 高 | 中 | Phase 1でPoC検証、段階的改善 |
| API利用料の想定超過 | 中 | 中 | セマンティックキャッシュ、月次コストレビュー |
| ユーザー定着率の低さ | 高 | 中 | チャンピオンユーザー制度、改善フィードバックループ |
| セキュリティインシデント | 高 | 低 | 入力バリデーション、出力フィルタリング、監査ログ |
ロードマップ:
| Phase | 期間 | マイルストーン | 成功基準 |
|---|---|---|---|
| 1 | 0-3ヶ月 | 技術文書対象のPoC完成 | Precision@5 > 0.60, 利用者30名 |
| 2 | 3-6ヶ月 | 全ドキュメント対象で本番リリース | 利用者150名, 満足度80% |
| 3 | 6-12ヶ月 | 精度最適化、全社展開 | 利用者200名, Faithfulness 0.90 |
推進体制:
- PM: 1名(プロジェクト管理、ステークホルダー調整)
- バックエンドエンジニア: 2名(パイプライン、API開発)
- インフラエンジニア: 1名(ベクトルDB、AWS構成)
達成度チェック
| 観点 | 達成基準 |
|---|---|
| 一貫性 | 7章すべてが相互に整合し、ストーリーとして繋がっている |
| 具体性 | 技術選定の理由、数値目標、コスト試算が具体的 |
| 実現可能性 | 予算・人員・時間の制約内で実現可能な計画 |
| 段階性 | Phase 1-3の段階的なアプローチが明確 |
| リスク対応 | 主要リスクに対する具体的な緩和策 |
| 網羅性 | アーキテクチャ、ドキュメント処理、検索、最適化、評価、運用のすべてをカバー |
| 説得力 | CTOが「この設計で進めよう」と判断できるレベルの根拠 |
推定所要時間: 90分