LESSON

総合確認クイズ

Month 1「顧客離反を予測し防止しよう」の総合確認クイズである。10問中8問以上の正解（80%以上）で合格となる。

Q1. 離反率のビジネスインパクト

月間離反率3%の場合、年間の顧客残存率に最も近い値はどれか？

  • A) 約50%
  • B) 約60%
  • C) 約69%
  • D) 約80%

正解: C) 約69%

解説: (1 - 0.03)^12 = 0.97^12 ≈ 0.6938。月間3%は年間で約31%の顧客を失う計算となる。

Q2. LTV計算

ARPU ¥10,000、月間離反率 5%の場合のLTVはいくらか？

  • A) ¥50,000
  • B) ¥100,000
  • C) ¥200,000
  • D) ¥500,000

正解: C) ¥200,000

解説: LTV = ARPU / 月間離反率 = ¥10,000 / 0.05 = ¥200,000。平均顧客寿命は 1/0.05 = 20ヶ月。

Q3. EDAの発見

Telco Customer Churnデータセットにおいて、最も離反率が高い契約形態はどれか？

  • A) Two year contract
  • B) One year contract
  • C) Month-to-month contract
  • D) すべて同程度

正解: C) Month-to-month contract

解説: Month-to-month契約の離反率は約42.7%で、One year（約11.3%）やTwo year（約2.8%）と比較して圧倒的に高い。

Q4. 不均衡データの評価指標

離反率26.5%のデータセットで、すべてを「非離反」と予測した場合のAccuracyはどれか？

  • A) 0%
  • B) 26.5%
  • C) 50%
  • D) 73.5%

正解: D) 73.5%

解説: 全データの73.5%が非離反であるため、すべてを「非離反」と予測するだけでAccuracy 73.5%が達成される。これが不均衡データでAccuracyが不適切な理由であり、AUC-ROCやPR-AUCを使用すべき根拠である。

Q5. 特徴量エンジニアリング

「サービス加入数（num_services）」特徴量と離反率の関係として正しいものはどれか？

  • A) サービス加入数が多いほど離反率が高い
  • B) サービス加入数が多いほど離反率が低い
  • C) サービス加入数と離反率に関係はない
  • D) サービス加入数3が最も離反率が高い

正解: B) サービス加入数が多いほど離反率が低い

解説: 付加サービスの加入はロックイン効果（スイッチングコストの増加）をもたらし、離反を抑制する。加入数0の離反率は約50%、6の場合は約15%と大きな差がある。

Q6. モデル選択

テーブルデータの分類タスクにおいて、一般的に最も高い性能を示すモデル群はどれか？

  • A) ロジスティック回帰
  • B) サポートベクターマシン
  • C) ディープニューラルネットワーク
  • D) 勾配ブースティング決定木（XGBoost/LightGBM）

正解: D) 勾配ブースティング決定木（XGBoost/LightGBM）

解説: テーブルデータ（構造化データ）ではGBDTが最も高い性能を示すことが多い。KaggleのテーブルデータコンペでもGBDTが上位を独占している。DNNはテキストや画像には強いが、テーブルデータではGBDTに劣ることが多い。

Q7. SHAP値の解釈

ベースライン0.265（平均離反率）の離反予測モデルで、ある顧客のSHAP値が以下の場合、この顧客の離反確率に最も近い値はどれか？

  • tenure: -0.15
  • Contract_Month-to-month: +0.20
  • MonthlyCharges: +0.10
  • OnlineSecurity_No: +0.08

（他の特徴量のSHAP値の合計: +0.02）

  • A) 約20%
  • B) 約30%
  • C) 約50%
  • D) 約75%

正解: C) 約50%

解説: 予測値 ≈ ベースライン + SHAP値合計 = 0.265 + (-0.15 + 0.20 + 0.10 + 0.08 + 0.02) = 0.265 + 0.25 = 0.515 ≈ 約50%。（実際にはロジスティック変換があるため厳密には異なるが、線形近似として約50%が最も近い。）

Q8. LangGraphの設計

LangGraphのStateGraphにおけるConditional Edgeの目的として正しいものはどれか？

  • A) ノードの実行速度を最適化する
  • B) 状態の値に応じて次に実行するノードを動的に選択する
  • C) すべてのノードを並列実行する
  • D) エラーログを自動的に記録する

正解: B) 状態の値に応じて次に実行するノードを動的に選択する

解説: Conditional Edgeは、Stateの値（リスクレベル、エラーの有無など）に基づいて、次に遷移するノードを動的に決定する。これにより、高リスク顧客にはSHAP分析を実行し、低リスク顧客にはスキップするような条件分岐が実現できる。

Q9. Human-in-the-Loop

HITL設計において、すべてのアクションを人間の承認なしに自動実行する場合の最大のリスクはどれか？

  • A) システムの処理速度が低下する
  • B) 不正確な予測に基づく不適切な顧客対応が実行される
  • C) LLM APIのコストが増加する
  • D) モデルの再学習頻度が増える

正解: B) 不正確な予測に基づく不適切な顧客対応が実行される

解説: AIの判断を検証なしに実行すると、誤った予測に基づく不適切な施策（不要な割引の提供や、大切な顧客への無配慮な対応など）が実行され、顧客関係を損なうリスクがある。

Q10. 総合理解

NetShop社の離反率を5%から4%に1%改善する場合、以下の条件での年間LTV増加額として正しいものはどれか？

条件: 顧客数 10,000人、ARPU ¥5,000

  • A) 約6,000万円
  • B) 約1.25億円
  • C) 約2.5億円
  • D) 約5億円

正解: B) 約1.25億円

解説:

  • 現状LTV = ¥5,000 / 0.05 = ¥100,000
  • 改善後LTV = ¥5,000 / 0.04 = ¥125,000
  • LTV増加 = ¥25,000/人
  • 総インパクト = ¥25,000 × 10,000人 = ¥250,000,000 ÷ 2（年間補正） ≈ ¥125,000,000

（LTV増加は顧客の残存期間全体にわたるため、年間ベースでは約半分と見積もる。）

結果

  • 8問以上正解（80%以上）: 合格。おめでとう! Month 1の全カリキュラムを修了した。
  • 7問以下: 該当するStepのレッスンを復習してから再挑戦しよう。

スコア別のフィードバック

  • 10問正解: 素晴らしい。離反予測からAIエージェントまで、一貫した理解ができている。
  • 8-9問正解: 合格。一部のトピックを復習すればさらに理解が深まる。
  • 6-7問正解: もう少し。特にMLモデルとエージェント設計の部分を重点的に復習しよう。
  • 5問以下: 各Stepのレッスンを丁寧に復習し、演習をもう一度取り組もう。

推定所要時間: 30分