ストーリー

フィードバックループの全体設計

3種類のフィードバック

フィードバックループのアーキテクチャ

[ユーザー] → [AI回答] → [フィードバック収集]
                              │
                    ┌─────────┼─────────┐
                    ▼         ▼         ▼
              [明示的]    [暗黙的]   [専門家]
              Good/Bad   行動ログ    QAレビュー
                    │         │         │
                    └─────────┼─────────┘
                              ▼
                    [フィードバック分析]
                    ├── パターン特定
                    ├── 弱点カテゴリ抽出
                    └── 改善優先度判定
                              │
                              ▼
                    [改善アクション]
                    ├── プロンプト調整
                    ├── RAG知識ベース更新
                    ├── Guardrailsルール追加
                    └── A/Bテスト実施
                              │
                              ▼
                    [効果測定] → [次サイクルへ]

フィードバック収集の実装

明示的フィードバック

from dataclasses import dataclass
from datetime import datetime
from enum import Enum

class FeedbackType(Enum):
    THUMBS_UP = "thumbs_up"
    THUMBS_DOWN = "thumbs_down"
    DETAILED = "detailed"

@dataclass
class UserFeedback:
    """ユーザーフィードバック"""
    feedback_id: str
    request_id: str
    user_id: str
    feedback_type: FeedbackType
    rating: int | None = None  # 1-5
    comment: str = ""
    category: str = ""  # 不正確、不適切、的外れ、遅い等
    timestamp: datetime = None

class FeedbackCollector:
    """フィードバック収集・分析"""

    def __init__(self, storage):
        self.storage = storage

    def collect(self, feedback: UserFeedback):
        """フィードバックを収集"""
        self.storage.save(feedback)

    def analyze_trends(self, days: int = 30) -> dict:
        """フィードバックのトレンド分析"""
        feedbacks = self.storage.get_recent(days)

        total = len(feedbacks)
        if total == 0:
            return {"total": 0}

        positive = sum(1 for f in feedbacks if f.feedback_type == FeedbackType.THUMBS_UP)
        negative = sum(1 for f in feedbacks if f.feedback_type == FeedbackType.THUMBS_DOWN)

        # ネガティブフィードバックのカテゴリ分布
        negative_categories = {}
        for f in feedbacks:
            if f.feedback_type == FeedbackType.THUMBS_DOWN and f.category:
                negative_categories[f.category] = negative_categories.get(f.category, 0) + 1

        return {
            "total": total,
            "positive_rate": round(positive / total, 4),
            "negative_rate": round(negative / total, 4),
            "top_negative_categories": sorted(
                negative_categories.items(), key=lambda x: x[1], reverse=True
            )[:5]
        }

暗黙的フィードバックのシグナル

フィードバックから改善への変換

改善アクションの自動提案

class ImprovementSuggester:
    """フィードバックから改善アクションを提案"""

    CATEGORY_ACTIONS = {
        "不正確": [
            "RAG知識ベースの更新",
            "ファクトチェックGuardrailの追加",
            "プロンプトへの正確性強調指示の追加"
        ],
        "的外れ": [
            "質問分類モデルの改善",
            "コンテキスト理解プロンプトの調整",
            "RAG検索クエリの最適化"
        ],
        "不適切": [
            "出力フィルタリングルールの追加",
            "トピックスコーピングの強化",
            "システムプロンプトの制約追加"
        ],
        "遅い": [
            "キャッシュの最適化",
            "モデルの軽量化検討",
            "プロンプトの圧縮"
        ],
    }

    def suggest(self, trend_analysis: dict) -> list[dict]:
        """改善アクションを提案"""
        suggestions = []
        for category, count in trend_analysis.get("top_negative_categories", []):
            actions = self.CATEGORY_ACTIONS.get(category, ["手動調査が必要"])
            suggestions.append({
                "category": category,
                "count": count,
                "priority": "HIGH" if count > 50 else "MEDIUM" if count > 20 else "LOW",
                "suggested_actions": actions
            })
        return suggestions

改善サイクルの運用

データフライホイール

正のフィードバックループの構築

[AIの品質向上]
    │
    ▼
[ユーザー満足度向上]
    │
    ▼
[利用頻度の増加]
    │
    ▼
[フィードバックデータの増加]
    │
    ▼
[より精度の高い改善]
    │
    └──→ [AIの品質向上] へ戻る

まとめ

チェックリスト

• 3種類のフィードバック（明示的/暗黙的/専門家）を理解した
• フィードバック収集と分析の仕組みを設計できる
• フィードバックから改善アクションへの変換方法を把握した
• データフライホイールの概念を理解した

次のステップへ

次はFine-tuning判断と継続的改善の仕組みを学びます。

推定読了時間: 30分