クイズの説明
Step 5「改善の効果を測定しよう」の理解度を確認します。効果測定のフレームワーク、KPI設計とベースライン、改善のROI測定について問います。
合格ライン: 80%（5問中4問正解）
問題
Q1. アウトプットとアウトカム
「テスト自動化のカバレッジを30%から80%に引き上げた」は、効果の分類としてどれに該当しますか？
- A. アウトプット（産出物）
- B. アウトカム（成果）
- C. インパクト（影響）
- D. いずれにも該当しない
答えを見る
正解: A
テストカバレッジの達成は、改善活動が直接生み出した「アウトプット（産出物）」です。これ自体は活動の結果ですが、組織にもたらした変化（アウトカム）ではありません。アウトカムは「テスト自動化によりリードタイムが43日から20日に短縮した」、インパクトは「顧客への機能提供速度が2倍になり、顧客満足度が向上した」のような表現になります。経営層に報告する際は、アウトプットだけでなくアウトカムとインパクトまで含めて伝えることが重要です。
Q2. 先行指標と遅行指標
以下の指標のうち、「先行指標」に該当するものはどれですか？
- A. 月間の障害件数
- B. 四半期の売上高
- C. テスト自動化カバレッジの推移
- D. 顧客満足度調査の結果
答えを見る
正解: C
テスト自動化カバレッジの推移は先行指標です。カバレッジが向上すれば、将来的に障害件数の減少（遅行指標）やリードタイムの短縮（遅行指標）が期待できます。先行指標は「将来の結果を予測できる指標」であり、改善の方向性が正しいかを早期に判断できます。障害件数（A）、売上高（B）、顧客満足度（D）はいずれも結果として観察される遅行指標です。先行指標を監視することで、遅行指標が悪化する前に対策を打てます。
Q3. グッドハートの法則
開発チームのKPIとして「PR数」を設定したところ、メンバーが1行の変更を個別のPRとして大量に作成し始めました。この問題の原因として最も適切な説明はどれですか？
- A. メンバーのスキルが不足している
- B. 尺度（PR数）が目標になった結果、行動が歪んだ（グッドハートの法則）
- C. PRの粒度に関するルールがないため
- D. コードレビューの基準が厳しすぎるため
答えを見る
正解: B
これはグッドハートの法則（「尺度が目標になると、良い尺度ではなくなる」）の典型例です。PR数という単一の指標を目標にした結果、本来の目的（開発の生産性向上）ではなく指標の操作（PR数の水増し）という行動が誘発されました。対策としては、PR数だけでなく「PRあたりの変更行数」「レビュー通過率」「リードタイム」など複数の指標を組み合わせること、そしてプロセス指標と結果指標の両方を監視することが有効です。
Q4. ROI算出
改善プロジェクトに4,000万円投資し、年間効果として手動作業削減3,000万円、障害対応削減500万円、手戻り削減500万円が得られました。改善ROIとして正しいものはどれですか？
- A. ROI = 0%（投資額と効果額が同じため）
- B. ROI = 100%（効果額が投資額の2倍のため）
- C. ROI = -50%（効果額が投資額の半分のため）
- D. ROI = 200%（効果額が投資額の3倍のため）
答えを見る
正解: A
ROI = (効果 - コスト) / コスト × 100% = (4,000万円 - 4,000万円) / 4,000万円 × 100% = 0%。年間効果の合計は3,000万円 + 500万円 + 500万円 = 4,000万円で、投資額と同額です。つまり1年で投資を回収できますが、ROI自体は0%です。ただし、この効果が2年目以降も継続する場合、2年目のROIは(8,000万円 - 4,000万円) / 4,000万円 × 100% = 100%になります。ROI算出では、効果の計上期間を明確にすることが重要です。
Q5. エグゼクティブレポート
CTO向けの月次レポートで最も重要な要素はどれですか？
- A. 全チームのGitコミット数の詳細一覧
- B. 改善ROI、主要KPIの目標対比、課題とアクション、来月の計画の簡潔なサマリー
- C. 使用しているツールの技術的な詳細仕様
- D. 改善チームの日次の作業ログ
答えを見る
正解: B
経営層向けのレポートは「意思決定に必要な情報」を簡潔にまとめるべきです。改善ROIは投資の正当化、主要KPIの目標対比は改善の方向性の確認、課題とアクションは経営層の支援が必要な事項の提示、来月の計画は次の期待値の設定に繋がります。Gitコミット数（A）は技術的な詳細データ、ツールの仕様（C）は経営層の意思決定に不要、日次の作業ログ（D）は粒度が細かすぎます。「経営層が30分以内で全体像を把握できる」レベルの簡潔さが重要です。
結果
合格（4問以上正解）
Step 5の内容をよく理解しています。効果測定のフレームワーク、KPI設計、ROI算出の技法を身につけました。次のStep 6「組織横断改善を完成させよう」に進みましょう。
不合格（3問以下正解）
Step 5の内容を復習しましょう。特に以下のポイントを重点的に確認してください：
- アウトプット/アウトカム/インパクト — 3つの区別と経営層への報告方法
- 先行指標と遅行指標 — 組み合わせて早期の方向修正を可能にする
- グッドハートの法則 — 単一指標の目標化によるゲーミングの防止
- ROI算出 — 効果の定量化と計上期間の明確化
推定所要時間: 15分