Step 5 確認クイズ
エージェント評価・改善に関する確認クイズである。5問中4問以上の正解で合格となる。
Q1. Sensitivity
スクリーニング用途でSensitivityを重視する理由はどれか？
- A) コストを削減するため
- B) 病気の見逃し（偽陰性）が重大な結果を招くため
- C) 計算が簡単だから
- D) Specificityは重要ではないから
正解: B) 病気の見逃し（偽陰性）が重大な結果を招くため
解説: スクリーニングは病気の疑いがある人を漏れなく検出することが目的。見逃し（偽陰性）は早期治療の機会を失うため、Sensitivity（検出率）を最優先で高める。
Q2. 閾値最適化
分類確信度の閾値を0.5から0.3に下げた場合の影響はどれか？
- A) SensitivityもSpecificityも上がる
- B) Sensitivityが上がり、Specificityが下がる
- C) Sensitivityが下がり、Specificityが上がる
- D) 変化なし
正解: B) Sensitivityが上がり、Specificityが下がる
解説: 閾値を下げると「陽性」と判定されるケースが増える。これにより病気の見逃し（FN）は減るがSensitivityが上がる一方、正常を陽性と誤判定（FP）するケースが増えSpecificityが下がる。
Q3. HITL設計
HITLの選択的レビューで、確信度0.95・リスクLowのケースを自動承認する利点はどれか？
- A) 精度が100%になる
- B) 専門家のレビュー負荷を軽減し、重要ケースに集中できる
- C) AIの責任が免除される
- D) データ収集が不要になる
正解: B) 専門家のレビュー負荷を軽減し、重要ケースに集中できる
解説: 高確信度かつ低リスクのケースを自動承認することで、専門家は低確信度や高リスクの重要ケースのレビューに集中でき、全体の品質と効率が向上する。
Q4. フィードバック
専門家がAI判断を却下したケースの最適な活用方法はどれか？
- A) 削除する
- B) 正しいラベルを付与し再学習用データとして蓄積する
- C) 統計レポートにのみ使用する
- D) AIの確信度を上書きする
正解: B) 正しいラベルを付与し再学習用データとして蓄積する
解説: 却下されたケースはAIが間違えたケースであり、正しいラベルを付与することで「AIが苦手なパターン」の学習データになる。これを再学習に活用することでモデルの弱点を改善できる。
Q5. 継続的学習
再学習時にSensitivity >= 0.95を保証する理由はどれか？
- A) 技術的に必要だから
- B) 再学習でSensitivityが劣化すると、以前検知できた病気を見逃すリスクがあるため
- C) Sensitivityは変化しないから
- D) 法律で規定されているから
正解: B) 再学習でSensitivityが劣化すると、以前検知できた病気を見逃すリスクがあるため
解説: 再学習でSpecificityが改善してもSensitivityが劣化すると、見逃しリスクが増大する。デプロイ前にSensitivityの下限を検証するゲートを設け、安全性を担保する。
結果
- 4問以上正解（80%以上）: 合格。Step 5「エージェントを評価・改善しよう」を修了。
- 3問以下: 各レッスンを復習してから再挑戦しよう。
推定所要時間: 15分