ストーリー

LLMOpsツールのカテゴリ

LLMOpsに関連するツールは以下の5カテゴリに分類できます。

LLMOpsツールスタックの全体像:

┌─────────────────────────────────────────┐
│          アプリケーション層              │
│  (カスタマーサポートAI, FAQ Bot, etc.)   │
├─────────────────────────────────────────┤
│     オーケストレーション層               │
│  (LangChain / LlamaIndex / 自前実装)    │
├─────────────────────────────────────────┤
│        ゲートウェイ層                    │
│  (Portkey / LiteLLM / Cloudflare)       │
├─────────────────────────────────────────┤
│      オブザーバビリティ層                │
│  (LangSmith / Langfuse / Helicone)      │
├─────────────────────────────────────────┤
│        評価・改善層                      │
│  (Promptfoo / DeepEval / Ragas)         │
├─────────────────────────────────────────┤
│     プロンプト管理層                     │
│  (Langfuse / PromptLayer / Git管理)     │
└─────────────────────────────────────────┘

主要プラットフォーム比較

オブザーバビリティ

ゲートウェイ

評価フレームワーク

技術スタック選定のフレームワーク

選定基準

パターン別推奨スタック

パターンA: スタートアップ / スモールチーム
├── ゲートウェイ: LiteLLM (OSS)
├── オブザーバビリティ: Langfuse (OSS, セルフホスト)
├── 評価: Promptfoo (OSS)
└── 理由: コスト最小、セルフホスト可能、柔軟性重視

パターンB: LangChainエコシステム利用
├── ゲートウェイ: Portkey or LiteLLM
├── オブザーバビリティ: LangSmith
├── 評価: LangSmith + Promptfoo
└── 理由: LangChainとのシームレスな統合

パターンC: エンタープライズ / セキュリティ重視
├── ゲートウェイ: 自前実装 + AWS API Gateway
├── オブザーバビリティ: Langfuse (セルフホスト) + Datadog
├── 評価: DeepEval + カスタム評価基盤
└── 理由: データ外部送信不可、既存監視基盤との統合

パターンD: Cloudflareエコシステム利用
├── ゲートウェイ: Cloudflare AI Gateway
├── オブザーバビリティ: Helicone + Workers Analytics
├── 評価: Promptfoo
└── 理由: エッジ活用、グローバル展開

Build vs Buy の判断

「うちの場合、ゲートウェイとオブザーバビリティはOSSツールを活用し、評価基盤はドメイン固有の品質基準があるから半自前で構築する方針にしよう」 — 田中VPoE

まとめ

チェックリスト

• LLMOpsツールの5カテゴリを説明できる
• 主要なオブザーバビリティツールの違いを理解した
• ゲートウェイツールの選定基準を把握した
• 自チームに適した技術スタックパターンを判断できる

推定読了時間: 30分