LESSON 30分

ストーリー

田中VPoE
効果測定の基礎を学んだ。次は、継続的にモニタリングするためのKPI体系を設計する
あなた
DORAの4メトリクスをそのまま使えばいいのでは?
田中VPoE
DORAメトリクスは重要だが、それだけでは不十分だ。組織横断の改善は技術面だけでなく、プロセスの健全性、チームの状態、ビジネスへの影響まで包括的に捉える必要がある。KPI体系は「何を見れば全体の健全性がわかるか」を設計する作業だ
あなた
多すぎても管理しきれませんよね
田中VPoE
その通り。良いKPI体系は「少数の指標で全体像が見える」ものだ。ポイントは階層構造を作ること。経営層が見るKPI、改善チームが見るKPI、各チームが見るKPIを分ける

KPI体系の階層設計

3階層のKPI構造

Level 1: ビジネスKPI(経営層向け、月次報告)
  ├── 顧客への機能提供速度(リードタイム)
  ├── サービス信頼性(稼働率、障害件数)
  └── 開発投資効率(改善ROI)

Level 2: プロセスKPI(改善チーム向け、週次モニタリング)
  ├── DORAメトリクス(デプロイ頻度、リードタイム、変更失敗率、MTTR)
  ├── プロセス効率(VSMのプロセス効率%)
  ├── テスト自動化カバレッジ
  └── セキュリティスキャン通過率

Level 3: チームKPI(各チーム向け、スプリント単位)
  ├── スプリントベロシティ
  ├── PR サイクルタイム
  ├── コードレビュー待ち時間
  ├── ビルド成功率
  └── 開発者満足度(eNPS)

各レベルの設計原則

レベル指標数更新頻度報告先重要なこと
Level 13-5個月次経営層ビジネスインパクトに直結する
Level 25-8個週次改善チーム改善の方向性が正しいか判断できる
Level 35-10個スプリント各チーム日々の改善活動に直結する

ベースラインの確立

ベースラインとは

改善の効果を測定するための「起点」となる数値です。ベースラインなしに改善効果は測定できません。

項目説明
定義改善開始前の各KPIの現状値
測定期間最低2-4週間のデータを収集して平均値を算出
注意点異常値(障害対応中の数値等)を除外して正常時の値を使う

ベースライン測定のプロセス

Step 1: 測定対象のKPIを決定

Step 2: データ収集方法を確立
  (自動収集 or 手動収集のどちらか)

Step 3: 2-4週間のデータを収集

Step 4: 異常値を除外し、平均値と分散を算出

Step 5: ベースラインとして記録

Step 6: 目標値を設定(ベースラインから何%改善するか)

DevFlow社のベースライン例

KPIベースライン測定期間目標値改善率
リードタイム43日4週間平均20日以下53%短縮
デプロイ頻度月2回過去3ヶ月平均週2回以上4倍
変更失敗率22%過去3ヶ月平均10%以下55%改善
MTTR8時間過去6ヶ月平均2時間以下75%短縮
テストカバレッジ30%現時点80%以上50pt改善
開発者満足度4.2/10パルスサーベイ7.0以上67%改善

KPI設計の5つの原則

1. 先行指標と遅行指標を組み合わせる

種類説明
先行指標将来の結果を予測できる指標テスト自動化カバレッジ、コードレビュー速度
遅行指標結果として観察できる指標デプロイ頻度、障害件数、顧客満足度

「遅行指標だけを見ていると、問題に気づいたときには手遅れだ。先行指標で予兆を捉え、遅行指標で結果を確認する。この両方が必要だ」 — 田中VPoE

2. バランスを取る

観点偏りの問題バランスの取り方
速度 vs 品質速度だけ追うと品質が犠牲にデプロイ頻度と変更失敗率をセットで見る
効率 vs 健全性効率だけ追うと燃え尽きる生産性指標と開発者満足度をセットで見る
短期 vs 長期短期成果だけ追うと技術負債が増える機能開発速度と技術負債削減速度をセットで見る

3. 測定コストを考慮する

測定の難易度アプローチ
自動収集可能デプロイ頻度、ビルド時間、PRサイクルタイムCI/CDツールから自動取得
半自動テストカバレッジ、障害件数ツールとレポートの組み合わせ
手動収集開発者満足度、手戻り率アンケート、ヒアリング

4. 操作可能なものを選ぶ

良いKPI: 自チームの行動で改善可能
  ○ PRサイクルタイム → レビュープロセスの改善で短縮可能
  ○ テストカバレッジ → テスト追加で改善可能

悪いKPI: 自チームでは改善不可能
  × 全社売上 → 改善チームの行動だけでは直接影響できない
  × 競合の動向 → コントロール不可能

5. グッドハートの法則を避ける

「尺度が目標になると、良い尺度ではなくなる」

問題対策
メトリクスのゲーミングコミット数を増やすために1行ずつコミット複数の指標を組み合わせる
意図しない行動の誘発バグ件数を減らすためにバグを報告しないプロセス指標と結果指標の両方を見る
短期的な数値操作月末にまとめてデプロイトレンドで評価する(点ではなく線)

KPIカードの設計

テンプレート

項目内容
KPI名リードタイム
定義コミットから本番デプロイまでの経過時間
算出方法Jira + GitHub APIから自動算出
ベースライン43日(2024年Q1平均)
目標値20日以下
更新頻度週次
責任者改善リーダー
アクショントリガー前週比10%以上悪化した場合、原因分析を実施

まとめ

ポイント内容
3階層構造ビジネスKPI、プロセスKPI、チームKPIに分ける
ベースライン改善前の現状値を正確に記録する
5つの原則先行/遅行、バランス、測定コスト、操作可能性、ゲーミング防止
KPIカード目標値、ベースライン、測定方法、更新頻度を一覧化

チェックリスト

  • KPI体系の3階層構造を理解した
  • ベースラインの確立方法を理解した
  • 先行指標と遅行指標の違いと組み合わせ方を把握した
  • KPI設計の5つの原則を理解した
  • KPIカードのテンプレートを把握した

次のステップへ

次は「改善のROI測定」を学びます。改善活動のROIを算出し、経営層に投資対効果を報告する方法を身につけましょう。


推定読了時間: 30分