サーベイ設計と運用 - L0 カリキュラム

ストーリー

田

田中VPoE

前回、文化メトリクスの体系を設計した。自動収集できるメトリクス（PR率、ポストモーテム実施率など）はツールから取れる。だが、心理的安全性やエンゲージメントのような人の内面に関わる指標は、自動収集できない

あなた

だからサーベイ（アンケート調査）が必要になるんですね

あ

田

田中VPoE

そうだ。ただし、サーベイは「聞けば答えが返ってくる」と思ったら大間違いだ。質問の設計、バイアスの排除、回答率の確保、分析方法 — どれも専門的なノウハウが必要になる

あなた

「DevOpsについてどう思いますか？」みたいな漠然とした質問では使えるデータは取れませんよね

あ

田

田中VPoE

その通り。科学的なサーベイ設計の手法を学ぼう。DevOps文化の定着度を正確に測り、改善アクションに変換できるサーベイを作るのが今回のゴールだ

サーベイの基本設計

サーベイの種類と使い分け

種類	頻度	質問数	目的	回答時間
パルスサーベイ	月次〜隔週	3-5問	変化の兆候を素早くキャッチ	1-2分
四半期サーベイ	四半期	15-25問	文化の定着度を体系的に評価	10-15分
年次サーベイ	年次	40-60問	組織全体のベースラインと詳細分析	20-30分
イベントサーベイ	随時	5-10問	特定施策（研修、ワークショップ等）の効果測定	3-5分

DevOps文化サーベイの全体構成

サーベイ設計のフレームワーク:

  ┌────────────────────────────────────────────┐
  │  四半期サーベイ（25問・15分）                  │
  │                                            │
  │  セクション1: 心理的安全性（5問）              │
  │  → Edmonsonの7項目ベース                     │
  │                                            │
  │  セクション2: 学習文化（5問）                  │
  │  → ポストモーテム、ナレッジ共有                │
  │                                            │
  │  セクション3: コラボレーション（5問）           │
  │  → チーム間連携、コミュニケーション             │
  │                                            │
  │  セクション4: オーナーシップ（5問）             │
  │  → 責任範囲、意思決定の自律性                  │
  │                                            │
  │  セクション5: 自由記述（2-3問）                │
  │  → 定性的な深掘り                            │
  └────────────────────────────────────────────┘

質問設計の技法

良い質問と悪い質問

悪い質問	問題点	良い質問
「DevOps文化は良いと思いますか？」	誘導的、抽象的	「障害発生時、原因を率直に報告できる環境だと感じますか？」
「チームのコラボレーションはうまくいっていますか？」	二重バレル（複数概念）	「他チームに技術的な相談をする際、気軽に連絡できますか？」
「あなたのマネージャーはDevOpsを支援していますか？」	社会的望ましさバイアス	「改善のためにプロセスを変更したい場合、実行に移せていますか？」
「DevOpsツールは使いやすいですか？」	範囲が広すぎる	「CI/CDパイプラインの設定変更を自分で行えますか？」

回答スケール設計

スケール	使い方	例
リッカート5段階	態度・同意度の測定	1 〜5
リッカート7段階	より精度の高い態度測定	1 〜7
頻度スケール	行動の頻度測定	なし/月1回未満/月1-2回/週1回以上/毎日
NPS	推奨意向の測定	0-10（推奨者/中立者/批判者）

DevOps文化サーベイの質問例（四半期用）

セクション1: 心理的安全性

#	質問	スケール
Q1	チームメンバーに助けを求めることが容易にできる	リッカート5段階
Q2	ミスを報告しても、個人として非難されることはない	リッカート5段階
Q3	チーム内で異なる意見を述べることが歓迎される	リッカート5段階
Q4	リスクのある新しい取り組みを試すことが奨励されている	リッカート5段階
Q5	過去1ヶ月で、安心して「わからない」と言えた場面があった	頻度スケール

セクション2: 学習文化

#	質問	スケール
Q6	障害やインシデントから組織的に学ぶ仕組みが機能している	リッカート5段階
Q7	他チームのポストモーテムや知見にアクセスできる	リッカート5段階
Q8	技術的な挑戦や実験に時間を投資する余裕がある	リッカート5段階
Q9	過去1ヶ月で、他チームの知見を自チームに取り入れた	頻度スケール
Q10	CoP（社内コミュニティ）の活動に参加した	頻度スケール

セクション3: コラボレーション

#	質問	スケール
Q11	開発チームとSRE/運用チームの協力関係が良好である	リッカート5段階
Q12	他チームとの情報共有がスムーズに行われている	リッカート5段階
Q13	ペアプログラミングやモブプログラミングの機会がある	頻度スケール
Q14	コードレビューで建設的なフィードバックが得られる	リッカート5段階
Q15	チーム間の壁（サイロ）が減ってきていると感じる	リッカート5段階

回答バイアスの排除

主要バイアスと対策

バイアス	説明	対策
社会的望ましさバイアス	「良い回答」をしようとする傾向	匿名性の保証、行動ベースの質問設計
中心傾向バイアス	無難に中間を選ぶ傾向	偶数スケール（4段階、6段階）の使用を検討
近接効果	直近の出来事に引きずられる	「過去3ヶ月を振り返って」と期間を明示
ハロー効果	一つの印象が全体に影響	セクションの順序をランダム化
回答疲れ	後半の質問に適当に回答	質問数を最小化、重要な質問を前半に配置

匿名性の確保

レベル	方法	メリット	デメリット
完全匿名	個人特定情報を一切収集しない	率直な回答が得られる	チーム別分析ができない
チーム単位匿名	チーム名のみ収集（5名以上のチーム）	チーム別分析が可能	少人数チームでは特定リスク
機密保護付き実名	実名だが結果は集計値のみ公開	個別フォローが可能	率直な回答が得られにくい

推奨: 「チーム単位匿名」（5名以上のチームのみチーム名を付与）が、分析精度と率直さのバランスが最も良い

サーベイ運用のベストプラクティス

運用サイクル

サーベイ運用の4フェーズ:

  Phase 1: 準備（2週間前）
  │  ・質問の最終確認
  │  ・ツールの設定（Google Forms, Typeform等）
  │  ・告知メールの送付
  ▼
  Phase 2: 実施（1-2週間）
  │  ・回答期間の設定
  │  ・リマインダー送付（3日後、締切2日前）
  │  ・回答率のモニタリング
  ▼
  Phase 3: 分析（1週間）
  │  ・データクレンジング
  │  ・定量分析（平均、分布、前回比較）
  │  ・定性分析（自由記述のコーディング）
  ▼
  Phase 4: アクション（翌四半期）
     ・結果の全社公開（透明性）
     ・チーム別フィードバックセッション
     ・改善アクションの策定と実行
     ・次回サーベイで効果を検証

回答率を高めるテクニック

テクニック	効果	実施方法
経営層のコミットメント	+15-20%	CEOまたはVPoEからの依頼メール
所要時間の明示	+10%	「約10分で完了」と明記
前回の結果と改善報告	+15%	「前回の結果を受けてXを改善した」と示す
チーム単位のリマインド	+10%	チームリーダー経由でのリマインド
締切の設定	+5%	明確な締切と1回のリマインド

目標回答率: 70%以上（70%未満ではデータの代表性に疑問が残る）

分析手法

定量分析

分析手法	目的	方法
記述統計	現状の把握	各質問の平均値、標準偏差、分布
トレンド分析	時系列の変化	前回比較、四半期ごとの推移グラフ
チーム間比較	相対的な位置づけ	チーム別スコアのヒートマップ
相関分析	因果関係の探索	文化スコアとDORAメトリクスの相関
セグメント分析	属性別の違い	職種別、経験年数別のスコア比較

定性分析（自由記述のコーディング）

ステップ	内容	例
1. コード付け	回答をカテゴリに分類	「ミーティングが多すぎる」→「時間の使い方」
2. テーマ抽出	コードからテーマを導出	「時間の使い方」+「実験の余裕がない」→「改善活動の時間確保」
3. 優先順位付け	出現頻度と影響度で優先度を決定	出現頻度Top3 × 影響度をマトリクスで評価

アクションプランへの変換

サーベイ結果からアクションへの変換フレームワーク

サーベイ結果	解釈	アクション例
心理的安全性スコアが低い（3.0未満）	ミスの報告や意見表明に恐怖がある	ブレームレスポストモーテムの導入、1on1の強化
学習文化スコアは高いがナレッジ共有頻度が低い	学びたい意欲はあるが仕組みがない	CoPの活性化、ナレッジベースの整備
コラボレーションスコアのチーム差が大きい	特定チームがサイロ化している	クロスチームプロジェクトの設定、アンバサダー派遣
自由記述で「改善の時間がない」が頻出	通常業務に追われて改善活動ができない	20%ルールの導入、Slackタイムの確保

まとめ

ポイント	内容
サーベイの種類	パルス（月次）、四半期、年次、イベント。目的に応じて使い分ける
質問設計	行動ベースの具体的な質問。誘導や二重バレルを避ける
バイアス対策	匿名性の確保、期間の明示、スケールの工夫
運用サイクル	準備→実施→分析→アクションの4フェーズ。結果の公開とアクションが最重要

チェックリスト

サーベイの種類と使い分けを理解した
良い質問設計の原則（行動ベース、バイアス排除）を理解した
回答率を高めるテクニックを理解した
サーベイ結果をアクションプランに変換する方法を理解した

次のステップへ

次は「継続的改善サイクル」を学びます。メトリクスとサーベイの結果を基に、文化変革のPDCAサイクルを回す方法を身につけましょう。

推定読了時間: 30分