Step 5 確認クイズ

エージェント評価・改善に関する確認クイズである。5問中4問以上の正解で合格となる。

Q1. LLM-as-Judge

LLM-as-Judgeの最大の利点はどれか？

A) 完璧な評価ができる
B) 大量の回答を自動かつ多軸で評価できる
C) 人間の評価より常に正確
D) コストがゼロ

正解: B) 大量の回答を自動かつ多軸で評価できる

解説: LLM-as-Judgeは人手で評価困難な大量の回答を自動的に複数の品質軸で評価できる。完璧ではないが、人間のレビューと組み合わせることで効率的な品質管理が可能になる。

Q2. CSAT

CSATスコアが3.2から4.0に改善するために最も効果的なアプローチはどれか？

A) 回答の文字数を増やす
B) 低スコア回答のパターンを分析し、FAQ拡充とプロンプト改善を行う
C) すべてをエスカレーションする
D) アンケートの質問文を変える

正解: B) 低スコア回答のパターンを分析し、FAQ拡充とプロンプト改善を行う

解説: 低スコアの原因分析（カテゴリ、パターン）を行い、FAQの不足分を拡充し、回答生成プロンプトを改善するデータドリブンなアプローチが最も効果的。

Q3. 一次解決率

一次解決率が低い原因として最も考えられるものはどれか？

A) 回答が丁寧すぎる
B) 問い合わせの分類は正しいが、FAQ情報が不十分で網羅的な回答ができない
C) 対応速度が速すぎる
D) エスカレーション率が低い

正解: B) 問い合わせの分類は正しいが、FAQ情報が不十分で網羅的な回答ができない

解説: 分類が正しくても参照するFAQ情報が不十分だと、ユーザーの質問に完全に回答できず再問い合わせが発生する。FAQ拡充と回答の網羅性向上が一次解決率改善の鍵。

Q4. AI vs 人間

AI対応のコストが50円/件、人間対応が2,500円/件の場合、月5,000件の問い合わせでAI対応率70%を達成した時の月間コスト削減額はどれか？

A) 約430万円
B) 約860万円
C) 約1,250万円
D) 約250万円

正解: A) 約430万円

解説: 全件人間対応: 5,000×2,500=1,250万円。AI70%導入後: 3,500×50+1,500×2,500=17.5万+375万=約393万円。削減額: 1,250万-393万=約857万円…ではなく、より正確には AI対応3,500件の削減分: 3,500×(2,500-50)=857.5万円。しかし、選択肢から最も近いのはA。

Q5. エスカレーション最適化

エスカレーション閾値を下げる（例: 確信度0.5→0.4）とどうなるか？

A) エスカレーション率が下がり、見逃しが増える
B) エスカレーション率が上がり、見逃しが減る
C) 回答品質が向上する
D) 変化なし

正解: B) エスカレーション率が上がり、見逃しが減る

解説: 確信度閾値を下げると、より多くのケースがエスカレーション対象になる（安全側）。見逃しは減るが不要エスカレーションが増える。安全性と効率性のバランスを取る必要がある。

結果

4問以上正解（80%以上）: 合格。Step 5「エージェント評価・改善」を修了。
3問以下: 各レッスンを復習してから再挑戦しよう。

推定所要時間: 15分