ストーリー
田
田中VPoE
マルチモーダルAIの基礎、VLM、処理パイプライン、ユースケースマッピングを学んだ。ここで実際にNetShop社の課題を分析し、活用計画を立ててもらう
あなた
実際の業務データを使って計画を立てるんですね
あ
田
田中VPoE
そうだ。3つのミッションを用意した。それぞれ異なる部門の課題に対して、最適なモダリティとAI技術を選定し、導入計画を策定してくれ
あなた
Step 1で学んだ知識を総動員して取り組みます
あ
ミッション概要
| 項目 | 内容 |
|---|---|
| 目標 | 業務課題に対してマルチモーダルAIの活用計画を策定する |
| 所要時間 | 60分 |
| ミッション数 | 3つ |
| 使用知識 | VLM / モダリティ別パイプライン / ユースケースマッピング |
| 評価観点 | モダリティ選定の妥当性、技術的実現性、ROI試算の論理性 |
ミッション1: 経理部門の請求書処理改革（20分）
シナリオ
NetShop社の経理部門から以下の相談がありました。
【経理部 鈴木マネージャーからの相談】
毎月約3,000件の請求書が届きます。現在は以下の手順で処理しています：
1. 郵送された紙の請求書をスキャン（PDF化）
2. 経理担当者が目視で内容を確認
3. 会計システムに手入力（取引先名、日付、金額、品目）
4. ダブルチェック（別の担当者が再確認）
課題：
- 1件あたり平均8分かかっている（入力5分 + 確認3分）
- 月間400時間の作業時間
- 入力ミスが月に約50件発生
- 月末に処理が集中し、残業が常態化
請求書の形式：
- 約60%が定型フォーマット（主要取引先30社）
- 約30%が準定型（フォーマットは異なるが項目は共通）
- 約10%が非定型（海外取引先、特殊フォーマット）タスク
以下の項目を埋めて、活用計画を策定してください。
【活用計画テンプレート】
1. 使用するモダリティと技術:
- メインモダリティ: ___
- 使用するAI技術: ___
- 推奨モデル/API: ___
2. 処理パイプライン設計:
- Step 1: ___
- Step 2: ___
- Step 3: ___
- Step 4: ___
3. 精度管理:
- 自動処理の対象: ___
- 人的確認が必要な条件: ___
- 期待精度: ___
4. ROI試算:
- 現状コスト: ___
- AI導入後コスト: ___
- 年間削減額: ___
- 投資回収期間: ___
5. リスクと対策:
- リスク1: ___ → 対策: ___
- リスク2: ___ → 対策: ___解答例を見る
【活用計画】
1. 使用するモダリティと技術:
- メインモダリティ: 画像（スキャンPDF）→ テキスト
- 使用するAI技術: Document AI（OCR + レイアウト解析 + フィールド抽出）
- 推奨モデル/API: Claude Vision（詳細な文書理解に強い）
+ 定型フォーマットにはテンプレートマッチング併用
2. 処理パイプライン設計:
- Step 1: PDF取り込み → 画像前処理（傾き補正、解像度調整）
- Step 2: 請求書分類（定型/準定型/非定型を自動判定）
- Step 3: フィールド抽出（取引先名、日付、金額、品目）
- Step 4: 信頼度スコア判定 → 高信頼度は自動登録、低信頼度は人的確認キューへ
3. 精度管理:
- 自動処理の対象: 信頼度90%以上（定型の大半＋準定型の一部、約70%を想定）
- 人的確認が必要な条件: 信頼度90%未満、金額10万円超、初見の取引先
- 期待精度: 定型98%、準定型95%、非定型85%
4. ROI試算:
- 現状コスト: 400時間 × 3,000円 = 120万円/月
- AI導入後コスト: API費5万円 + 確認作業90時間×3,000円 = 32万円/月
- 年間削減額: (120万 - 32万) × 12 = 1,056万円
- 投資回収期間: 開発費300万円 ÷ 88万円/月 = 約3.4ヶ月
5. リスクと対策:
- リスク1: 金額の誤読 → 対策: 金額フィールドは必ずダブルチェック、閾値超えは人的確認
- リスク2: 非定型請求書の精度不足 → 対策: 初期は非定型を全件人的確認、データ蓄積後に改善ミッション2: カスタマーサポート部門の音声活用（20分）
シナリオ
【CS部 山田リーダーからの相談】
コールセンターで1日平均200件の電話対応をしています。
現状の課題：
1. 通話内容のメモが担当者により品質にバラつきがある
2. 通話後の記録作成に1件あたり5分かかる（通話時間とほぼ同じ）
3. 感情的なクレーム通話の早期検知ができていない
4. 過去の対応履歴の検索が困難（テキスト化されていないため）
通話の内訳：
- 商品の問い合わせ: 40%（平均3分）
- 注文関連: 30%（平均5分）
- クレーム: 15%（平均10分）
- その他: 15%（平均4分）
希望：
- 通話内容を自動でテキスト化してほしい
- 重要な情報（注文番号、商品名、顧客の要望）を自動抽出してほしい
- クレーム通話をリアルタイムで検知してスーパーバイザーに通知してほしいタスク
以下の項目を埋めて、活用計画を策定してください。
【活用計画テンプレート】
1. 使用するモダリティと技術:
- メインモダリティ: ___
- 使用するAI技術（複数可）: ___
- 推奨モデル/API: ___
2. 処理パイプライン設計:
リアルタイム処理:
- Step 1: ___
- Step 2: ___
バッチ処理:
- Step 1: ___
- Step 2: ___
- Step 3: ___
3. 自動抽出する情報:
- ___
- ___
- ___
4. ROI試算:
- 現状コスト: ___
- AI導入後コスト: ___
- 定量化しにくい効果: ___
5. 技術的な課題と対策:
- 課題1: ___ → 対策: ___
- 課題2: ___ → 対策: ___解答例を見る
【活用計画】
1. 使用するモダリティと技術:
- メインモダリティ: 音声 → テキスト → 構造化データ
- 使用するAI技術:
a) STT（リアルタイム音声認識）
b) 話者分離（オペレーター/顧客の識別）
c) 感情分析（クレーム検知）
d) NER + LLM（情報抽出・要約）
- 推奨モデル/API:
STT: Whisper API（精度重視）またはGoogle STT（リアルタイム重視）
分析: GPT-4o（情報抽出・要約）
2. 処理パイプライン設計:
リアルタイム処理:
- Step 1: 通話音声をストリーミングでSTTに送信（リアルタイム文字起こし）
- Step 2: 感情分析モデルで声のトーン・キーワードを監視、クレーム検知時にアラート
バッチ処理（通話終了後）:
- Step 1: 通話全体の高精度文字起こし（Whisper）+ 話者分離
- Step 2: LLMで要約生成 + 情報抽出（注文番号、商品名、要望、対応結果）
- Step 3: CRMシステムに自動登録 + 検索インデックス更新
3. 自動抽出する情報:
- 顧客情報（氏名、注文番号、電話番号）
- 問い合わせカテゴリ（商品問い合わせ/注文関連/クレーム/その他）
- アクションアイテム（返金処理、再配送手配、エスカレーション等）
- 顧客の感情レベル（1-5段階）
- 通話サマリー（3行以内）
4. ROI試算:
- 現状コスト:
記録作成: 200件 × 5分 × 22日 = 約367時間/月 × 2,500円 = 917,500円/月
- AI導入後コスト:
API費: 約80,000円/月（STT + LLM）
確認・修正: 50時間/月 × 2,500円 = 125,000円/月
合計: 205,000円/月
- 定量化しにくい効果:
クレーム早期検知による顧客離反防止、対応品質の均一化、検索性向上
5. 技術的な課題と対策:
- 課題1: 通話品質が悪い場合のSTT精度低下
→ 対策: ノイズキャンセリング前処理、低信頼度区間のマーキング
- 課題2: 話者分離の精度（電話では1チャンネル）
→ 対策: ステレオ録音への切り替え検討、またはLLMによる話者推定ミッション3: マルチモーダル統合ユースケースの提案（20分）
シナリオ
【CTO 佐藤からの依頼】
ミッション1と2の成果を見て、さらに野心的な取り組みを検討したい。
複数のモダリティを組み合わせた、部門横断的なユースケースを1つ提案してほしい。
条件：
- 2つ以上のモダリティを組み合わせること
- 2つ以上の部門に跨がるユースケースであること
- 6ヶ月以内に実現可能であること
- 期待されるROIを明示することタスク
自由形式で提案書を作成してください。以下の構成を推奨します。
【提案書テンプレート】
1. 提案名: ___
2. 概要（3行以内）: ___
3. 関連部門: ___
4. 使用モダリティ:
- モダリティ1: ___（用途: ___）
- モダリティ2: ___（用途: ___）
5. 統合アーキテクチャ:
（処理フローを図示）
6. 実現ステップ:
- Month 1-2: ___
- Month 3-4: ___
- Month 5-6: ___
7. 期待ROI: ___
8. 成功指標（KPI）:
- ___
- ___解答例を見る
【提案書】
1. 提案名: 「統合カスタマーインサイト基盤」
2. 概要:
コールセンターの通話音声、商品レビュー画像、問い合わせメール、SNS投稿を
統合分析し、商品改善・CS品質向上・マーケティング施策に活用する
マルチモーダルインサイト基盤を構築する。
3. 関連部門: カスタマーサポート、EC運営、マーケティング、商品企画
4. 使用モダリティ:
- 音声: コールセンター通話（感情分析 + 課題抽出）
- 画像: 商品レビュー添付画像（品質問題の視覚的分析）
- テキスト: メール・SNS・レビューテキスト（感情・トピック分析）
5. 統合アーキテクチャ:
通話音声 → [STT] → テキスト ─┐
レビュー画像 → [VLM] → 分析 ─┤→ [統合分析LLM] → インサイトDB
テキストデータ → [NLP] → 分析 ─┘ ↓
ダッシュボード
├── 商品別課題ランキング
├── CS品質スコア
└── トレンドアラート
6. 実現ステップ:
- Month 1-2: 通話音声のSTT + 自動要約パイプライン構築
- Month 3-4: レビュー画像分析 + テキスト分析の追加、統合DB設計
- Month 5-6: ダッシュボード構築、アラート機能、全部門への展開
7. 期待ROI:
- CS対応時間削減: 月50万円
- 商品改善サイクル短縮（不良品の早期発見）: 月100万円相当
- マーケティング施策の精度向上: 売上1%向上で月200万円
- 合計: 月350万円の効果、年間4,200万円
8. 成功指標（KPI）:
- インサイト抽出件数: 月1,000件以上
- 商品改善提案までのリードタイム: 2週間→3日
- 顧客満足度（NPS）: +5ポイント
- CS対応後の記録作成時間: 80%削減振り返り
評価基準
| 評価項目 | A（優秀） | B（合格） | C（要改善） |
|---|---|---|---|
| モダリティ選定 | 課題に最適なモダリティを選び、理由を明確に説明 | 適切なモダリティを選定 | モダリティの選定が不適切 |
| パイプライン設計 | 前処理・後処理を含む詳細な設計 | 基本的な処理フローを記述 | 処理フローが不明確 |
| ROI試算 | 定量的で現実的な数値を使用 | 概算でもロジックが明確 | 数値の根拠が不明 |
| リスク管理 | 複数のリスクと具体的な対策を提示 | 主要リスクを認識 | リスク分析が不十分 |
推定所要時間: 60分