ストーリー

ログ設計の原則

LLMログに記録すべき情報

ログレベルの設計

PII除去パイプライン

PII検出の対象

マスキングパイプラインの構成

ログ収集パイプライン:

リクエスト/レスポンス
        │
        ▼
┌──────────────────┐
│ 1. 構造化         │  JSON形式にパース
└────────┬─────────┘
         │
         ▼
┌──────────────────┐
│ 2. PII検出        │  正規表現 + NER
└────────┬─────────┘
         │
         ▼
┌──────────────────┐
│ 3. マスキング      │  検出されたPIIを置換
└────────┬─────────┘
         │
         ▼
┌──────────────────┐
│ 4. コスト計算      │  トークン × 単価
└────────┬─────────┘
         │
         ├──→ Langfuse（モニタリング）
         └──→ S3（長期保存）

構造化ログの設計

トレースとスパン

LLMの呼び出しは複数のステップで構成されることが多く、トレーシングが重要です。

RAGチャットボットのトレース例:

Trace: req-abc123
├── Span: input_validation (5ms)
│   └── PII検出、入力サニタイズ
├── Span: rag_retrieval (150ms)
│   ├── Span: embedding_generation (30ms)
│   ├── Span: vector_search (80ms)
│   └── Span: reranking (40ms)
├── Span: prompt_construction (2ms)
│   └── システムプロンプト + RAG結果 + ユーザー入力
├── Span: llm_call (2800ms)
│   ├── model: gpt-4o
│   ├── input_tokens: 1500
│   ├── output_tokens: 350
│   └── cost: ¥12.5
├── Span: output_validation (10ms)
│   └── PIIフィルタ、有害性チェック
└── Span: response (1ms)
    └── ユーザーへの返却

Total: 2968ms

Langfuseへの送信例

from langfuse import Langfuse

langfuse = Langfuse()

# トレース開始
trace = langfuse.trace(
    name="cs-ai-chat",
    user_id="user-456",
    metadata={
        "service": "cs-ai",
        "environment": "production",
    },
)

# RAG検索スパン
retrieval_span = trace.span(
    name="rag_retrieval",
    input={"query": sanitized_query},
)

# ベクトル検索
results = vector_store.search(query_embedding, top_k=5)

retrieval_span.end(
    output={"num_results": len(results), "top_score": results[0].score},
)

# LLM呼び出しスパン（Generation）
generation = trace.generation(
    name="llm_call",
    model="gpt-4o",
    input=[
        {"role": "system", "content": system_prompt},
        {"role": "user", "content": sanitized_query},
    ],
    model_parameters={"temperature": 0.3, "max_tokens": 1024},
)

response = openai.chat.completions.create(...)

generation.end(
    output=response.choices[0].message.content,
    usage={
        "input": response.usage.prompt_tokens,
        "output": response.usage.completion_tokens,
    },
)

ログの保存と管理

まとめ

チェックリスト

• LLMログに記録すべき8カテゴリの情報を理解した
• PII検出・マスキングパイプラインの設計を把握した
• トレースとスパンの概念を説明できる
• ログの保存戦略（ホット/ウォーム/コールド）を理解した

推定読了時間: 30分