ストーリー
ミッション概要
| 項目 | 内容 |
|---|---|
| 目標 | AIシステムのバイアス監査を実施し、是正勧告を含む監査レポートを作成する |
| 所要時間 | 90分 |
| ミッション数 | 3つ |
| 使用知識 | バイアスの種類 / 公平性指標 / 緩和手法 / 監査プロセス |
| 評価観点 | 監査の網羅性、指標の適切な選定、是正勧告の実現性 |
Mission 1: 商品レコメンドAIのバイアス監査(30分)
シナリオ
【EC運営部からの報告】
商品レコメンドAIについて、以下の懸念が報告されている。
データ:
- ユーザー数: 50万人
- 年齢分布: 20代(30%), 30代(35%), 40代(20%), 50代以上(15%)
- 性別分布: 男性(45%), 女性(55%)
懸念事項:
1. 高額商品のレコメンドが男性ユーザーに偏っている(男性60% vs 女性40%)
2. 50代以上のユーザーへのレコメンド精度が他年代より10%低い
3. 新規ユーザーへのレコメンドが既存ユーザーの購買パターンに強く引きずられる
レコメンドロジック:
- 協調フィルタリング + コンテンツベースのハイブリッド
- ユーザーの購買履歴、閲覧履歴、属性情報を使用
タスク
以下の監査レポートを作成してください。
【監査レポート】
1. スコーピング:
対象システム: ___
保護属性: ___
リスクレベル: ___
2. データ監査:
代表性の問題: ___
データバイアスの特定: ___
3. 出力監査:
懸念1(性別偏り)の分析: ___
懸念2(年齢精度差)の分析: ___
懸念3(新規ユーザー偏り)の分析: ___
4. 是正勧告:
短期(1ヶ月以内): ___
中期(3ヶ月以内): ___
長期(6ヶ月以内): ___
5. 継続監視計画:
監視メトリクス: ___
監視頻度: ___
解答例を見る
1. スコーピング:
対象: 商品レコメンドAI
保護属性: 性別、年齢
リスクレベル: MEDIUM(直接的な差別ではないが、購買機会の不平等につながりうる)
2. データ監査:
代表性: 50代以上が15%と少なく、学習データが不足。購買履歴も若年層に偏り
データバイアス: 高額商品の購買データが男性に偏っている(社会的バイアスの反映)
3. 出力監査:
懸念1: 過去の購買パターンから「男性=高額商品」を学習。4/5ルールで
女性の高額レコメンド率(40%)÷男性(60%)=0.67 → FAIL
懸念2: 50代以上のデータ不足による協調フィルタリングの精度低下。
コールドスタート問題と類似
懸念3: 人気バイアス(ポピュラリティバイアス)。既存ユーザーの多数派パターンが
新規ユーザーに過度に適用されている
4. 是正勧告:
短期: レコメンド結果の性別・年齢別分布を日次監視するダッシュボード構築
中期: 50代以上向けのレコメンドにコンテンツベースの重みを増加、
高額商品レコメンドの性別バイアスを後処理で補正(リランキング)
長期: 公平性制約付きのレコメンドモデルに移行、
新規ユーザー向けの探索的レコメンド(Explore/Exploit)導入
5. 継続監視:
メトリクス: グループ別CTR、グループ別レコメンド多様性、4/5ルール
頻度: 日次で自動監視、月次でレポート、四半期で詳細監査
Mission 2: カスタマーサポートAIのバイアス監査(30分)
シナリオ
【CS部からの報告】
AIチャットボットの対応品質について、以下の問題が指摘されている。
システム概要:
- GPT-4oベースのチャットボット
- 月間対応数: 約10,000件
- 対応言語: 日本語(一部英語)
指摘事項:
1. 敬語を使わない問い合わせに対して、回答が簡略化される傾向がある
2. 英語での問い合わせへの回答精度が日本語より15%低い
3. 技術的な専門用語を使う問い合わせと平易な言葉の問い合わせで回答の丁寧さが異なる
4. 特定の商品カテゴリ(化粧品、育児用品)の問い合わせで性別ステレオタイプ的な回答が散見される
タスク
バイアス監査を実施し、是正勧告を含むレポートを作成してください。
【監査レポート】
1. バイアスの分類:
各指摘事項がどの種類のバイアスに該当するか: ___
2. 影響度評価:
| 指摘事項 | 影響度 | 緊急度 | 対応優先度 |
|---------|--------|-------|----------|
| ___ | ___ | ___ | ___ |
3. 根本原因分析:
指摘1の原因: ___
指摘2の原因: ___
指摘3の原因: ___
指摘4の原因: ___
4. 是正措置:
即時対応: ___
システム改修: ___
プロンプト改善: ___
5. テスト計画:
バイアステストケース: ___
解答例を見る
1. バイアスの分類:
指摘1: 言語スタイルバイアス(社会的地位の推定による差別的対応)
指摘2: 言語バイアス(学習データの日本語偏重)
指摘3: 専門性バイアス(リテラシーレベルによる対応品質差)
指摘4: ジェンダーステレオタイプバイアス
2. 影響度評価:
| 指摘事項 | 影響度 | 緊急度 | 対応優先度 |
|---------|--------|-------|----------|
| 性別ステレオタイプ回答 | 高 | 高 | 1(最優先) |
| 敬語未使用時の品質低下 | 中 | 中 | 2 |
| 英語対応精度の差 | 中 | 低 | 3 |
| 専門度による丁寧さの差 | 低 | 低 | 4 |
3. 根本原因分析:
指摘1: システムプロンプトに「回答の丁寧さを入力に合わせる」旨の指示があり、
カジュアルな入力に対して簡略回答を生成
指摘2: LLMの学習データにおける日本語と英語のドメイン知識の差
指摘3: LLMが専門用語を使うユーザーをより「知識がある」と推定し、
詳細な回答を生成する傾向
指摘4: LLMの学習データに含まれる社会的ステレオタイプの反映
4. 是正措置:
即時対応: 性別ステレオタイプ回答を検出するフィルターを追加
システム改修: 出力フィルタリングにジェンダー中立性チェックを追加
プロンプト改善:
- 「入力の言葉遣いに関わらず、常に丁寧かつ詳細な回答を提供する」を追加
- 「性別に関する仮定を行わない」を明示
- 英語対応用の専門知識をRAGで補強
5. テスト計画:
- 同一質問の敬語/カジュアル版でA/Bテスト(回答品質の差が5%以内)
- 性別を想起させる質問でステレオタイプテスト(月次50件)
- 日英同一質問ペアでの精度比較(月次30件)
Mission 3: バイアス監査フレームワークの策定(30分)
シナリオ
【CTO佐藤からの依頼】
Mission 1, 2の監査結果を踏まえ、NetShop社全体で使える
バイアス監査フレームワークを策定してほしい。
要件:
- 新規AIシステム導入時の必須チェックリスト
- 既存システムの定期監査プロセス
- インシデント発生時の対応フロー
- 全部門で共通利用できる簡易さ
タスク
【バイアス監査フレームワーク】
1. 導入前チェックリスト(必須項目10個):
- ___
2. 定期監査プロセス:
頻度: ___
担当: ___
手順: ___
3. 自動監視の設計:
監視メトリクス: ___
アラート条件: ___
ダッシュボード項目: ___
4. インシデント対応フロー:
発見→初動→調査→是正→報告の各ステップ: ___
5. 組織体制:
必要な役割: ___
責任分担: ___
解答例を見る
1. 導入前チェックリスト:
1. 保護属性の特定と文書化
2. 学習データの代表性検証(グループ別の分布確認)
3. ラベルバイアスの検証(アノテーター間一致率の確認)
4. 公平性メトリクスの選定と基準値の設定
5. 4/5ルールの適用結果
6. ステレオタイプテストの実施
7. エッジケースの網羅テスト
8. 緩和手法の適用と効果検証
9. Human-in-the-Loopの設計確認
10. 監査レポートの作成と承認
2. 定期監査:
頻度: 四半期(HIGHリスク)、半年(MEDIUM)、年次(LOW)
担当: AI倫理チーム(リード)+ 対象部門の代表者
手順: スコーピング(1日)→データ監査(2日)→モデル監査(2日)→
出力監査(2日)→レポート作成(1日)→経営報告(1日)
3. 自動監視:
メトリクス: グループ別性能差、選択率の偏り、信頼度分布の変化
アラート: 4/5ルール違反→即時、性能差10%超→24時間以内に調査開始
ダッシュボード: グループ別KPIトレンド、バイアス指標の時系列推移
4. インシデント対応フロー:
発見(0h): 報告受付→AI倫理チームに通知
初動(4h以内): 影響範囲の特定、必要に応じてシステム停止判断
調査(48h以内): 根本原因分析、影響を受けたユーザーの特定
是正(1週間以内): 緩和措置の実装、テスト、デプロイ
報告(2週間以内): インシデントレポート作成、再発防止策の策定
5. 組織体制:
AI倫理責任者(1名): CTO直轄、最終判断権限
AI倫理チーム(3名): 監査実施、ツール開発、教育
部門バイアスチャンピオン(各部門1名): 日常的な監視、報告
達成度チェック
| 評価項目 | A(優秀) | B(合格) | C(要改善) |
|---|---|---|---|
| バイアス特定 | 複数のバイアスタイプを正確に分類 | 主要なバイアスを特定 | バイアスの特定が不十分 |
| 公平性指標 | 適切な指標を選定し数値で評価 | 基本的な指標を使用 | 指標の選定が不適切 |
| 是正勧告 | 短期・中期・長期の具体的な対策を提示 | 基本的な対策を提示 | 対策が具体性に欠ける |
| フレームワーク | 組織全体で運用可能な包括的設計 | 主要プロセスを定義 | 実運用が困難な設計 |
推定所要時間: 90分