Step 4 確認クイズ
AIエージェントによるカスタマーサポート自動化に関する確認クイズである。5問中4問以上の正解で合格となる。
Q1. エージェント設計
カスタマーサポートエージェントで分類確信度が0.4だった場合の最適な対応はどれか？
- A) そのまま回答を生成する
- B) LLMフォールバックで再分類し、それでも低ければエスカレーション
- C) エラーとして処理する
- D) ランダムにカテゴリを割り当てる
正解: B) LLMフォールバックで再分類し、それでも低ければエスカレーション
解説: BERT分類の確信度が低い場合、LLMによる再分類でカバーし、それでも判断が難しい場合は人間にエスカレーションする2段構えが適切。
Q2. FAQ検索
セマンティック検索がキーワード検索より優れている点はどれか？
- A) 検索速度が速い
- B) 同義語や言い換えを含む意味的に近い結果を返せる
- C) データベースが不要
- D) 常に正確な結果を返す
正解: B) 同義語や言い換えを含む意味的に近い結果を返せる
解説: セマンティック検索は文の意味をベクトル化して類似度を計算するため、「返品したい」と「商品を返したい」のような言い換えでも適切なFAQを検索できる。
Q3. 回答生成
RAGベースの回答生成でハルシネーションを防ぐ最も効果的な方法はどれか？
- A) temperatureを1.0に設定する
- B) プロンプトで「FAQ情報にない内容は回答しない」と指示する
- C) 回答を長くする
- D) モデルサイズを大きくする
正解: B) プロンプトで「FAQ情報にない内容は回答しない」と指示する
解説: RAGでは検索されたコンテキスト情報に基づく回答を指示し、情報がない場合は「確認します」と回答するよう明示的に制約をかけることで、ハルシネーションを抑制する。
Q4. エスカレーション
エスカレーション判断で最も危険な誤りはどれか？
- A) 不要なエスカレーション（偽陽性）
- B) エスカレーションすべきケースの見逃し（偽陰性）
- C) 分類の誤り
- D) 回答の文法ミス
正解: B) エスカレーションすべきケースの見逃し（偽陰性）
解説: 不要なエスカレーションは人的コストが増えるだけだが、法的問題や深刻なクレームの見逃しは顧客離反やブランド毀損につながる。安全側に倒す（多少の偽陽性を許容する）設計が重要。
Q5. 感情分析
感情分析結果をエスカレーション判断に使う最大の理由はどれか？
- A) 回答の文体を変えるため
- B) 高フラストレーションの顧客は人間の対応が必要な可能性が高いため
- C) 統計データを収集するため
- D) AIの学習データにするため
正解: B) 高フラストレーションの顧客は人間の対応が必要な可能性が高いため
解説: 強いネガティブ感情を持つ顧客にAIが定型的な回答をすると事態を悪化させる可能性がある。人間の共感的な対応が必要なケースを感情分析で検知し、適切にエスカレーションする。
結果
- 4問以上正解（80%以上）: 合格。Step 4「AIエージェントでカスタマーサポート自動化」を修了。
- 3問以下: 各レッスンを復習してから再挑戦しよう。
推定所要時間: 30分