ストーリー

LLMOpsライフサイクル

LLMアプリケーションのライフサイクルは4つのフェーズで構成されます。

┌─────────────────────────────────────────────────────────┐
│                   LLMOps ライフサイクル                    │
│                                                         │
│  ┌──────────┐  ┌──────────┐  ┌──────────┐  ┌──────────┐ │
│  │  開発     │→│  評価     │→│ デプロイ   │→│モニタリング│ │
│  │ Develop  │  │ Evaluate │  │  Deploy  │  │ Monitor  │ │
│  └──────────┘  └──────────┘  └──────────┘  └──────────┘ │
│       ↑                                        │        │
│       └────────── フィードバック ──────────────────┘        │
└─────────────────────────────────────────────────────────┘

Phase 1: 開発（Develop）

プロンプト開発のワークフロー:

1. プロンプト設計
   ├── システムプロンプトの作成
   ├── Few-shot例の選定
   └── 出力スキーマの定義

2. ローカル評価
   ├── 代表的なテストケースで動作確認
   ├── エッジケースの検証
   └── 安全性テスト（有害入力への応答確認）

3. バージョン登録
   ├── プロンプトをGitにコミット
   ├── メタデータ（目的、想定モデル、パラメータ）を記録
   └── 変更理由をドキュメント化

Phase 2: 評価（Evaluate）

# 評価パイプラインの設定例
evaluation:
  datasets:
    - name: "regression_test_v3"
      path: "tests/eval/regression.jsonl"
      size: 200

  metrics:
    - name: "faithfulness"
      threshold: 0.85
      evaluator: "llm-as-judge"
    - name: "relevance"
      threshold: 0.80
      evaluator: "llm-as-judge"
    - name: "toxicity"
      threshold: 0.05  # 5%未満
      evaluator: "classifier"
    - name: "latency_p95"
      threshold: 3000  # ms
      evaluator: "metric"

  gates:
    - stage: "staging"
      required_pass: ["faithfulness", "relevance", "toxicity"]
    - stage: "production"
      required_pass: ["all"]

Phase 3: デプロイ（Deploy）

Phase 4: モニタリング（Monitor）

プロンプトCI/CDパイプライン

従来のコードCI/CDに加え、プロンプト専用のCI/CDパイプラインを構築します。

プロンプトCI/CDパイプライン:

┌─────────┐    ┌──────────┐    ┌──────────┐    ┌──────────┐    ┌─────────┐
│ Git Push │ →  │ Lint &   │ →  │ 評価     │ →  │ Staging  │ →  │  Prod   │
│ (prompt) │    │ Validate │    │ テスト   │    │ デプロイ  │    │ デプロイ │
└─────────┘    └──────────┘    └──────────┘    └──────────┘    └─────────┘
                    │               │               │               │
                    ▼               ▼               ▼               ▼
               構文チェック      回帰テスト     カナリア10%      全トラフィック
               変数の存在確認    安全性テスト    品質ゲート確認    モニタリング開始
               トークン数推定    品質スコア

パイプライン設計のポイント

RAGパイプラインの運用

RAG（Retrieval-Augmented Generation）を使用するシステムでは、追加のパイプライン管理が必要です。

RAGパイプラインの構成:

データソース                インジェスション           検索・生成
┌──────────┐              ┌──────────────┐          ┌──────────────┐
│ ドキュメント│ → スケジュール │ チャンキング   │ → 検索   │ リトリーバー  │
│ DB更新    │   /イベント   │ Embedding生成 │   クエリ  │ リランキング  │
│ API変更   │              │ ベクトルDB格納 │          │ コンテキスト構築│
└──────────┘              └──────────────┘          │ LLM生成     │
                                                   └──────────────┘

まとめ

チェックリスト

• LLMOpsの4つのフェーズを説明できる
• プロンプトCI/CDパイプラインの設計ポイントを理解した
• 評価パイプラインに含めるべきテスト種別を把握した
• RAGパイプライン固有の管理項目を理解した

推定読了時間: 30分