クイズの説明
Step 5で学んだエージェントの信頼性と安全性について理解度をチェックします。
- 全5問
- 不合格の場合は復習してから再挑戦してください
問題
Q1. Guardrailsの3段階のうち、「プロンプトインジェクション検出」はどの段階に該当しますか？
- A) Output Guardrails
- B) Action Guardrails
- C) Input Guardrails
- D) Runtime Guardrails
答えを見る
正解: C
プロンプトインジェクション検出は、ユーザーの入力をフィルタリングするInput Guardrailsに該当します。入力段階で悪意ある指示を検出・ブロックすることで、エージェントの誤動作を防ぎます。
Q2. Output Guardrailsの主な目的として正しいものはどれですか？
- A) LLMの推論速度を向上させる
- B) 機密情報の漏洩防止と不適切な内容のフィルタリング
- C) ツールの実行権限を管理する
- D) ユーザーの認証を行う
答えを見る
正解: B
Output Guardrailsは、エージェントの出力に含まれる可能性のある機密情報（クレジットカード番号、メールアドレス等）のマスキングや、不適切な内容のフィルタリング、スコープ外の回答の制限などを行います。
Q3. エージェントのObservabilityにおいて、LangSmith/Langfuseが主に提供する機能はどれですか？
- A) エージェントのソースコード管理
- B) LLMの入出力、ツール呼び出し、実行フローのトレース記録と可視化
- C) エージェントの自動デプロイ
- D) ユーザー認証とアクセス制御
答えを見る
正解: B
LangSmith/Langfuseは、LLMアプリケーションの実行トレースを記録・可視化するプラットフォームです。LLMへの入出力、ツール呼び出し、各ステップのレイテンシ、トークン使用量など、エージェントの動作を詳細に追跡できます。
Q4. エージェントのテストでLLMベースの評価が必要な理由として正しいものはどれですか？
- A) ユニットテストのフレームワークがLLM対応していないため
- B) LLMの出力は非決定的であり、完全一致での検証が困難なため
- C) テストの実行速度を向上させるため
- D) テストデータの生成を自動化するため
答えを見る
正解: B
LLMの出力は同じ入力でも毎回異なる可能性があるため、従来の完全一致テストでは検証が困難です。LLMベースの評価では、評価用のLLMが「回答の正確性」「完全性」「適切性」などの基準でスコアリングすることで、意味的な品質を評価できます。
Q5. エージェントの返金処理に対するAction Guardrailsとして最も適切なものはどれですか？
- A) 返金機能を完全に無効化する
- B) 金額上限の設定、レート制限、高額時の人間承認の3段構え
- C) すべての返金に人間の承認を必須にする
- D) 返金額の検証を行わず、LLMの判断に全て任せる
答えを見る
正解: B
実用的なAction Guardrailsは、金額上限（例: 5万円まで自動承認）、レート制限（例: 1時間に3回まで）、高額時の人間承認を組み合わせた多層防御が適切です。完全無効化はサービス品質を下げ、全件承認は効率が悪く、検証なしはセキュリティリスクがあります。
結果
4問以上正解の場合
合格です。Step 5「エージェントの信頼性と安全性を確保しよう」を完了しました。 次はStep 6「総合演習」に進みましょう。
3問以下の場合
もう少し復習しましょう。
| 問題 | 復習セクション |
|---|---|
| Q1-Q2 | step5_1 Guardrails設計 |
| Q3 | step5_2 ログとトレース |
| Q4 | step5_3 エージェントテスト |
| Q5 | step5_1 Action Guardrails |
推定所要時間: 15分