ストーリー

LLM品質メトリクスの体系

メトリクスの分類

LLM品質メトリクス:

定量メトリクス（自動計測）
├── パフォーマンス系
│   ├── レイテンシ（P50/P95/P99）
│   ├── TTFT（Time To First Token）
│   ├── トークンスループット（tokens/sec）
│   └── エラー率
├── 品質系
│   ├── Faithfulness（忠実性）
│   ├── Relevance（関連性）
│   ├── Coherence（一貫性）
│   └── Toxicity（有害性）
└── ビジネス系
    ├── ユーザー満足度（thumbs up/down）
    ├── エスカレーション率
    └── タスク完了率

定性メトリクス（人間評価）
├── ドメイン正確性
├── トーン・スタイルの適切さ
└── ユーザーインタビュー

主要品質メトリクス

1. Faithfulness（忠実性）

RAGシステムにおいて、応答が検索されたコンテキストに忠実かどうかを測定します。

Faithfulness の評価フロー:

1. 応答から主張（Claims）を抽出
   応答: 「当社の返品期限は30日間です。送料は無料です。」
   → 主張1: 返品期限は30日間
   → 主張2: 送料は無料

2. 各主張をコンテキストと照合
   コンテキスト: 「返品期限は購入日から30日以内です」
   → 主張1: 裏付けあり（Supported）
   → 主張2: 裏付けなし（Not Supported）

3. スコア計算
   Faithfulness = Supported / Total = 1/2 = 0.50

2. Relevance（関連性）

応答がユーザーの質問に適切に回答しているかを測定します。

3. ユーザー満足度

4. エスカレーション率

LLM-as-a-Judgeの実装

評価用プロンプトの設計

# Faithfulness 評価プロンプト
evaluation_prompt:
  system: |
    あなたはAI応答の品質を評価する専門家です。
    与えられたコンテキスト（参照情報）と応答を比較し、
    応答の忠実性を0.0〜1.0で評価してください。

    評価基準:
    - 応答のすべての主張がコンテキストに裏付けられている: 1.0
    - ほとんどの主張が裏付けられている: 0.7-0.9
    - 半分程度が裏付けられている: 0.4-0.6
    - ほとんど裏付けがない: 0.1-0.3
    - コンテキストと矛盾する内容がある: 0.0

  user: |
    ## コンテキスト
    {context}

    ## ユーザーの質問
    {question}

    ## AIの応答
    {answer}

    ## 評価
    以下のJSON形式で回答してください:
    {"score": 0.0-1.0, "reasoning": "評価理由"}

評価の自動化

メトリクスダッシュボード

主要KPI

まとめ

チェックリスト

• LLM品質メトリクスの3分類を説明できる
• Faithfulness/Relevanceの計測方法を理解した
• LLM-as-a-Judgeのアプローチを把握した
• 品質KPIの目標値とアラート閾値の設計を理解した

推定読了時間: 30分