EXERCISE 90分

ストーリー

田中VPoE
バイアスの種類、公平性指標、緩和手法、監査プロセスを一通り学んだ。ここでNetShop社の実際のAIシステムに対してバイアス監査を実施してもらう
あなた
学んだ知識を使って実際に監査するんですね
田中VPoE
そうだ。3つのミッションを用意した。それぞれ異なるAIシステムを対象としている。監査レポートの作成まで含めて取り組んでくれ
あなた
監査の全プロセスを実践します

ミッション概要

項目内容
目標AIシステムのバイアス監査を実施し、是正勧告を含む監査レポートを作成する
所要時間90分
ミッション数3つ
使用知識バイアスの種類 / 公平性指標 / 緩和手法 / 監査プロセス
評価観点監査の網羅性、指標の適切な選定、是正勧告の実現性

Mission 1: 商品レコメンドAIのバイアス監査(30分)

シナリオ

【EC運営部からの報告】

商品レコメンドAIについて、以下の懸念が報告されている。

データ:
- ユーザー数: 50万人
- 年齢分布: 20代(30%), 30代(35%), 40代(20%), 50代以上(15%)
- 性別分布: 男性(45%), 女性(55%)

懸念事項:
1. 高額商品のレコメンドが男性ユーザーに偏っている(男性60% vs 女性40%)
2. 50代以上のユーザーへのレコメンド精度が他年代より10%低い
3. 新規ユーザーへのレコメンドが既存ユーザーの購買パターンに強く引きずられる

レコメンドロジック:
- 協調フィルタリング + コンテンツベースのハイブリッド
- ユーザーの購買履歴、閲覧履歴、属性情報を使用

タスク

以下の監査レポートを作成してください。

【監査レポート】

1. スコーピング:
   対象システム: ___
   保護属性: ___
   リスクレベル: ___

2. データ監査:
   代表性の問題: ___
   データバイアスの特定: ___

3. 出力監査:
   懸念1(性別偏り)の分析: ___
   懸念2(年齢精度差)の分析: ___
   懸念3(新規ユーザー偏り)の分析: ___

4. 是正勧告:
   短期(1ヶ月以内): ___
   中期(3ヶ月以内): ___
   長期(6ヶ月以内): ___

5. 継続監視計画:
   監視メトリクス: ___
   監視頻度: ___
解答例を見る
1. スコーピング:
   対象: 商品レコメンドAI
   保護属性: 性別、年齢
   リスクレベル: MEDIUM(直接的な差別ではないが、購買機会の不平等につながりうる)

2. データ監査:
   代表性: 50代以上が15%と少なく、学習データが不足。購買履歴も若年層に偏り
   データバイアス: 高額商品の購買データが男性に偏っている(社会的バイアスの反映)

3. 出力監査:
   懸念1: 過去の購買パターンから「男性=高額商品」を学習。4/5ルールで
          女性の高額レコメンド率(40%)÷男性(60%)=0.67 → FAIL
   懸念2: 50代以上のデータ不足による協調フィルタリングの精度低下。
          コールドスタート問題と類似
   懸念3: 人気バイアス(ポピュラリティバイアス)。既存ユーザーの多数派パターンが
          新規ユーザーに過度に適用されている

4. 是正勧告:
   短期: レコメンド結果の性別・年齢別分布を日次監視するダッシュボード構築
   中期: 50代以上向けのレコメンドにコンテンツベースの重みを増加、
         高額商品レコメンドの性別バイアスを後処理で補正(リランキング)
   長期: 公平性制約付きのレコメンドモデルに移行、
         新規ユーザー向けの探索的レコメンド(Explore/Exploit)導入

5. 継続監視:
   メトリクス: グループ別CTR、グループ別レコメンド多様性、4/5ルール
   頻度: 日次で自動監視、月次でレポート、四半期で詳細監査

Mission 2: カスタマーサポートAIのバイアス監査(30分)

シナリオ

【CS部からの報告】

AIチャットボットの対応品質について、以下の問題が指摘されている。

システム概要:
- GPT-4oベースのチャットボット
- 月間対応数: 約10,000件
- 対応言語: 日本語(一部英語)

指摘事項:
1. 敬語を使わない問い合わせに対して、回答が簡略化される傾向がある
2. 英語での問い合わせへの回答精度が日本語より15%低い
3. 技術的な専門用語を使う問い合わせと平易な言葉の問い合わせで回答の丁寧さが異なる
4. 特定の商品カテゴリ(化粧品、育児用品)の問い合わせで性別ステレオタイプ的な回答が散見される

タスク

バイアス監査を実施し、是正勧告を含むレポートを作成してください。

【監査レポート】

1. バイアスの分類:
   各指摘事項がどの種類のバイアスに該当するか: ___

2. 影響度評価:
   | 指摘事項 | 影響度 | 緊急度 | 対応優先度 |
   |---------|--------|-------|----------|
   | ___ | ___ | ___ | ___ |

3. 根本原因分析:
   指摘1の原因: ___
   指摘2の原因: ___
   指摘3の原因: ___
   指摘4の原因: ___

4. 是正措置:
   即時対応: ___
   システム改修: ___
   プロンプト改善: ___

5. テスト計画:
   バイアステストケース: ___
解答例を見る
1. バイアスの分類:
   指摘1: 言語スタイルバイアス(社会的地位の推定による差別的対応)
   指摘2: 言語バイアス(学習データの日本語偏重)
   指摘3: 専門性バイアス(リテラシーレベルによる対応品質差)
   指摘4: ジェンダーステレオタイプバイアス

2. 影響度評価:
   | 指摘事項 | 影響度 | 緊急度 | 対応優先度 |
   |---------|--------|-------|----------|
   | 性別ステレオタイプ回答 | 高 | 高 | 1(最優先) |
   | 敬語未使用時の品質低下 | 中 | 中 | 2 |
   | 英語対応精度の差 | 中 | 低 | 3 |
   | 専門度による丁寧さの差 | 低 | 低 | 4 |

3. 根本原因分析:
   指摘1: システムプロンプトに「回答の丁寧さを入力に合わせる」旨の指示があり、
          カジュアルな入力に対して簡略回答を生成
   指摘2: LLMの学習データにおける日本語と英語のドメイン知識の差
   指摘3: LLMが専門用語を使うユーザーをより「知識がある」と推定し、
          詳細な回答を生成する傾向
   指摘4: LLMの学習データに含まれる社会的ステレオタイプの反映

4. 是正措置:
   即時対応: 性別ステレオタイプ回答を検出するフィルターを追加
   システム改修: 出力フィルタリングにジェンダー中立性チェックを追加
   プロンプト改善:
   - 「入力の言葉遣いに関わらず、常に丁寧かつ詳細な回答を提供する」を追加
   - 「性別に関する仮定を行わない」を明示
   - 英語対応用の専門知識をRAGで補強

5. テスト計画:
   - 同一質問の敬語/カジュアル版でA/Bテスト(回答品質の差が5%以内)
   - 性別を想起させる質問でステレオタイプテスト(月次50件)
   - 日英同一質問ペアでの精度比較(月次30件)

Mission 3: バイアス監査フレームワークの策定(30分)

シナリオ

【CTO佐藤からの依頼】

Mission 1, 2の監査結果を踏まえ、NetShop社全体で使える
バイアス監査フレームワークを策定してほしい。

要件:
- 新規AIシステム導入時の必須チェックリスト
- 既存システムの定期監査プロセス
- インシデント発生時の対応フロー
- 全部門で共通利用できる簡易さ

タスク

【バイアス監査フレームワーク】

1. 導入前チェックリスト(必須項目10個):
   - ___

2. 定期監査プロセス:
   頻度: ___
   担当: ___
   手順: ___

3. 自動監視の設計:
   監視メトリクス: ___
   アラート条件: ___
   ダッシュボード項目: ___

4. インシデント対応フロー:
   発見→初動→調査→是正→報告の各ステップ: ___

5. 組織体制:
   必要な役割: ___
   責任分担: ___
解答例を見る
1. 導入前チェックリスト:
   1. 保護属性の特定と文書化
   2. 学習データの代表性検証(グループ別の分布確認)
   3. ラベルバイアスの検証(アノテーター間一致率の確認)
   4. 公平性メトリクスの選定と基準値の設定
   5. 4/5ルールの適用結果
   6. ステレオタイプテストの実施
   7. エッジケースの網羅テスト
   8. 緩和手法の適用と効果検証
   9. Human-in-the-Loopの設計確認
  10. 監査レポートの作成と承認

2. 定期監査:
   頻度: 四半期(HIGHリスク)、半年(MEDIUM)、年次(LOW)
   担当: AI倫理チーム(リード)+ 対象部門の代表者
   手順: スコーピング(1日)→データ監査(2日)→モデル監査(2日)→
         出力監査(2日)→レポート作成(1日)→経営報告(1日)

3. 自動監視:
   メトリクス: グループ別性能差、選択率の偏り、信頼度分布の変化
   アラート: 4/5ルール違反→即時、性能差10%超→24時間以内に調査開始
   ダッシュボード: グループ別KPIトレンド、バイアス指標の時系列推移

4. インシデント対応フロー:
   発見(0h): 報告受付→AI倫理チームに通知
   初動(4h以内): 影響範囲の特定、必要に応じてシステム停止判断
   調査(48h以内): 根本原因分析、影響を受けたユーザーの特定
   是正(1週間以内): 緩和措置の実装、テスト、デプロイ
   報告(2週間以内): インシデントレポート作成、再発防止策の策定

5. 組織体制:
   AI倫理責任者(1名): CTO直轄、最終判断権限
   AI倫理チーム(3名): 監査実施、ツール開発、教育
   部門バイアスチャンピオン(各部門1名): 日常的な監視、報告

達成度チェック

評価項目A(優秀)B(合格)C(要改善)
バイアス特定複数のバイアスタイプを正確に分類主要なバイアスを特定バイアスの特定が不十分
公平性指標適切な指標を選定し数値で評価基本的な指標を使用指標の選定が不適切
是正勧告短期・中期・長期の具体的な対策を提示基本的な対策を提示対策が具体性に欠ける
フレームワーク組織全体で運用可能な包括的設計主要プロセスを定義実運用が困難な設計

推定所要時間: 90分