Step 5 確認クイズ
エージェントの評価・改善に関する確認クイズである。5問中4問以上の正解で合格。
Q1. 出力品質の3軸
AIエージェントの出力品質を評価する3つの軸として正しいものはどれか？
- A) 速度、コスト、安全性
- B) 正確性、有用性、一貫性
- C) 入力、処理、出力
- D) 学習、推論、評価
正解: B) 正確性、有用性、一貫性
解説: AIエージェントの出力品質は、正確性（事実に基づいているか）、有用性（ビジネスアクションにつながるか）、一貫性（同じ入力に安定した出力を返すか）の3軸で評価する。
Q2. Human-in-the-Loopのレベル
「AIが提案し、人間が承認してから実行する」パターンのHITLレベルはどれか？
- A) Human-on-the-Loop
- B) Human-in-the-Loop
- C) Human-over-the-Loop
- D) Human-out-of-the-Loop
正解: B) Human-in-the-Loop
解説: Human-on-the-LoopはAIが実行し人間が監視、Human-in-the-LoopはAIが提案し人間が承認してから実行、Human-over-the-Loopは人間が方針決定しAIが補助するパターンである。
Q3. 信頼度閾値
離反確率が0.55の顧客に対する対応として、最も適切なものはどれか？
- A) 高信頼として自動実行する
- B) 中信頼として人間レビューを推奨する
- C) 低信頼としてエスカレーションする
- D) 信頼度に関わらず常に自動実行する
正解: B) 中信頼として人間レビューを推奨する
解説: 0.55は高信頼（0.8以上）にも低信頼（0.3未満）にも該当しない中間領域である。この領域では人間のレビューを推奨し、判断の精度を補完する。
Q4. コスト最適化
LLM APIコストを削減する手法として、最も効果が大きいのはどれか？
- A) プロンプトの空白を削除する
- B) タスクに応じてモデルサイズを使い分ける（意図分類にmini、応答生成にstd）
- C) APIのリクエストヘッダーを最小化する
- D) サーバーのリージョンを最適化する
正解: B) タスクに応じてモデルサイズを使い分ける
解説: 意図分類のような単純タスクには安価なminiモデル、応答生成のような複雑タスクには標準モデルを使い分けることで、品質を維持しながらコストを50-80%削減できる。
Q5. フィードバックループ
フィードバックに基づくモデル再学習のトリガーとして、最も不適切なものはどれか？
- A) 実際の離反率とモデル予測の乖離が5%以上になった
- B) フィードバックの正確性評価の平均が3.0未満になった
- C) 毎日定時に自動再学習する
- D) 新規データが全体の20%以上追加された
正解: C) 毎日定時に自動再学習する
解説: 毎日の自動再学習はコストが高く、十分なデータが蓄積されていない段階では過学習のリスクもある。トリガーベースの再学習（精度低下の検知、データ蓄積量の閾値到達など）の方が効率的かつ効果的である。
結果
- 4問以上正解: 合格。Step 6（総合演習）に進もう。
- 3問以下: Step 5のレッスンを復習してから再挑戦しよう。
推定所要時間: 15分