ストーリー

シナリオ

企業: ECプラットフォーム「ShopNow」
イベント: ブラックフライデーセール（11月最終金曜日）
障害: 10:00開始のタイムセール直後にシステムダウン

タイムライン（事実）:
  09:55 - タイムセール開始の事前キャッシュウォームアップ実行
  10:00 - タイムセール開始、トラフィック通常の8倍に急増
  10:02 - 商品サービスのレスポンスタイムが5秒超に悪化
  10:03 - 注文サービスがタイムアウト、Kafkaキューにメッセージ滞留
  10:05 - データベース接続数が上限に到達、全サービスでDB接続エラー
  10:07 - アラート発報（SLO: p95レスポンスタイム 500ms 違反）
  10:10 - オンコールエンジニアが対応開始
  10:15 - IC任命、War Room設置
  10:20 - DBコネクションプール枯渇を特定
  10:25 - 商品サービスのレプリカ数を3→10にスケール
  10:30 - DB接続プール上限を100→300に引き上げ
  10:35 - 一部復旧するも、Kafkaの滞留メッセージ処理で再度負荷
  10:40 - Kafkaコンシューマーのスロットリング実施
  10:50 - サービス全面復旧
  11:00 - 監視強化フェーズに移行
  12:00 - インシデントクローズ

影響:
  - 50分間のサービス劣化（10:00-10:50）
  - 推定売上損失: 5,000万円
  - 影響ユーザー数: 約30万人
  - カスタマーサポート問い合わせ: 2,000件

Part 1: ポストモーテムドキュメント作成（30分）

タイムライン、影響、根本原因、寄与要因を含むポストモーテムドキュメントを作成してください。

# ポストモーテム: ブラックフライデータイムセール障害

## 概要
| 項目 | 内容 |
|------|------|
| 発生日時 | 2026-11-27 10:00-10:50 JST |
| 影響時間 | 50分 |
| 重大度 | P1 |
| IC | 田中（SREリード） |
| 影響 | 30万ユーザー、推定5,000万円の売上損失 |

## タイムライン
（シナリオのタイムラインをそのまま整理）

## 根本原因
DBコネクションプールのサイズ（100）がピーク時のトラフィック（通常の8倍）に
対して不十分だった。商品サービスの各Podがコネクションを保持し続け、
DB側の最大接続数に到達した。

## 寄与要因
1. 事前のキャパシティプランニングで8倍トラフィックを想定していなかった
2. オートスケールのトリガーがCPUベースで、DB接続数は監視対象外だった
3. Kafkaコンシューマーの処理速度制限が設定されていなかった
4. アラート発報までに7分のギャップがあった（10:00→10:07）

Part 2: 5 Whys分析（15分）

根本原因を5 Whysで深掘りしてください。

Why 1: なぜシステムがダウンした？
  → DBコネクションプールが枯渇した

Why 2: なぜコネクションプールが枯渇した？
  → ピーク時のトラフィック（8倍）に対してプールサイズ（100）が不十分

Why 3: なぜ8倍のトラフィックを想定していなかった？
  → キャパシティプランニングで過去最大の3倍までしか想定していなかった

Why 4: なぜ3倍までしか想定しなかった？
  → 事業チームからのトラフィック予測が共有されていなかった

Why 5: なぜ共有されていなかった？
  → マーケティングとエンジニアリング間の大規模イベント事前調整プロセスがなかった

根本原因: 大規模イベント時のクロスファンクショナルな事前調整プロセスの欠如

Part 3: SLO分析（15分）

このインシデントがSLOに与えた影響を計算してください。

Part 4: アクションアイテム策定（15分）

優先度付きのアクションアイテムリストを作成してください。

Part 5: 改善のレビュー（15分）

3ヶ月後の改善レビューで報告する内容を作成してください。

まとめ

チェックリスト

• ポストモーテムドキュメントを作成できた
• 5 Whysで根本原因を分析できた
• SLOへの影響を定量的に分析できた
• 優先度付きアクションアイテムを策定できた
• 改善レビューを設計できた

次のステップへ

最後は卒業クイズです。Month 4の全体を振り返りましょう。

推定読了時間: 90分