ストーリー

RAGAS（RAG Assessment）

概要

RAGASはRAGシステムの品質を多角的に評価するフレームワークです。LLMを使って自動評価を行うため、大規模なテストセットでも効率的に評価できます。

4つの主要指標

RAGASの評価対象:

質問（Question）──→ 検索結果（Contexts）──→ 回答（Answer）
                                                ↑
                                    正解（Ground Truth）

Faithfulness:     回答 ← コンテキスト（根拠に基づいているか）
Answer Relevance: 回答 ← 質問（質問に答えているか）
Context Precision: コンテキスト ← 質問（検索結果は関連しているか）
Context Recall:    コンテキスト ← 正解（必要な情報が揃っているか）

各指標の詳細

Faithfulness（忠実性）

Faithfulness評価の仕組み:

Step 1: 回答から主張（claims）を抽出
回答: "RAGではベクトルDBに検索し、コサイン類似度で関連文書を取得します"
→ 主張1: "RAGではベクトルDBに検索する"
→ 主張2: "コサイン類似度で関連文書を取得する"

Step 2: 各主張がコンテキストに基づいているか判定
→ 主張1: コンテキストに記述あり → Supported
→ 主張2: コンテキストに記述あり → Supported

Faithfulness = Supported数 / 総主張数 = 2/2 = 1.0

Answer Relevance（回答の関連性）

Answer Relevance評価の仕組み:

Step 1: 回答から仮想質問を生成
回答: "Qdrantはコサイン類似度とユークリッド距離をサポートしています"
→ 仮想質問1: "Qdrantがサポートする距離メトリクスは？"
→ 仮想質問2: "Qdrantで使える類似度計算方法は？"

Step 2: 仮想質問と元の質問のEmbedding類似度を計算
元の質問: "Qdrantの距離メトリクスは何がありますか？"
→ 類似度1: 0.95
→ 類似度2: 0.88

Answer Relevance = 類似度の平均 = (0.95 + 0.88) / 2 = 0.915

Context Precision / Recall

評価データセットの設計

テストセットの構成

テストセット作成のベストプラクティス

その他の評価手法

LLM-as-a-Judge

LLMを評価者として使う手法です。RAGASもこのアプローチを採用しています。

人間による評価

「自動評価は効率的だが万能ではない。定期的な人間によるスポットチェックも欠かせない。特にFaithfulnessの評価は、LLM自身の判断に限界がある場合がある」 — 田中VPoE

まとめ

チェックリスト

• RAGASの4つの主要指標の意味と計算方法を理解した
• Faithfulness評価の仕組みを理解した
• 評価データセットの設計原則を理解した
• 自動評価と人間評価の使い分けを理解した

次のステップへ

次は「RAGモニタリング」を学びます。本番運用中のRAGシステムの品質を継続的に監視する方法を理解しましょう。

推定読了時間: 30分