演習：購買データを前処理しよう

# === 購買履歴の品質チェック ===
print("=" * 50)
print("購買履歴データ")
print("=" * 50)
print(f"Shape: {orders.shape}")
print(f"\n欠損値:\n{orders.isnull().sum()}")
print(f"\n欠損率(%):\n{(orders.isnull().mean() * 100).round(1)}")

# 重複チェック
dup_orders = orders[orders.duplicated(subset=['order_id'], keep=False)]
print(f"\n重複order_id: {len(dup_orders)}件")

# 異常値チェック
negative_amounts = orders[orders['amount'] < 0]
print(f"マイナス金額: {len(negative_amounts)}件")

# ステータス分布
print(f"\nステータス分布:\n{orders['status'].value_counts()}")

# === 顧客マスタの品質チェック ===
print("\n" + "=" * 50)
print("顧客マスタ")
print("=" * 50)
print(f"Shape: {customers.shape}")
print(f"\n欠損値:\n{customers.isnull().sum()}")
print(f"\n年齢の範囲: {customers['age'].min()} - {customers['age'].max()}")

# === 商品マスタの品質チェック ===
print("\n" + "=" * 50)
print("商品マスタ")
print("=" * 50)
print(f"Shape: {products.shape}")
print(f"\n欠損値:\n{products.isnull().sum()}")

# === 品質レポート ===
print("\n" + "=" * 50)
print("品質レポートまとめ")
print("=" * 50)
quality_issues = pd.DataFrame({
    '問題': [
        'amount欠損', 'amount異常値（マイナス）', 'order_id重複',
        'age欠損', 'gender欠損', 'brand欠損'
    ],
    '件数': [
        orders['amount'].isna().sum(),
        (orders['amount'] < 0).sum(),
        orders.duplicated(subset=['order_id']).sum(),
        customers['age'].isna().sum(),
        customers['gender'].isna().sum(),
        products['brand'].isna().sum()
    ],
    '対策': [
        '中央値で補完',
        '除外（キャンセル・返品処理の可能性）',
        '重複排除（最新を保持）',
        '地域別中央値で補完',
        '「不明」カテゴリで補完',
        '「不明」で補完'
    ]
})
print(quality_issues.to_string(index=False))

# === Step 1: 重複排除 ===
orders_clean = orders.drop_duplicates(subset=['order_id'], keep='first')
print(f"重複排除: {len(orders)} -> {len(orders_clean)}")

# === Step 2: 異常値処理 ===
# マイナス金額を除外
orders_clean = orders_clean[orders_clean['amount'] >= 0].copy()
# NaN（まだ残っている）はこの時点ではNaNのまま
print(f"異常値除外後: {len(orders_clean)}")

# === Step 3: 欠損値補完 ===
# amount: 完了注文の中央値で補完
median_amount = orders_clean.loc[
    orders_clean['status'] == 'completed', 'amount'
].median()
orders_clean['amount_was_missing'] = orders_clean['amount'].isna().astype(int)
orders_clean['amount'] = orders_clean['amount'].fillna(median_amount)

# 顧客age: 地域別中央値で補完
customers_clean = customers.copy()
customers_clean['age_was_missing'] = customers_clean['age'].isna().astype(int)
customers_clean['age'] = customers_clean.groupby('region')['age'].transform(
    lambda x: x.fillna(x.median())
)

# gender: 不明で補完
customers_clean['gender'] = customers_clean['gender'].fillna('不明')

# brand: 不明で補完
products_clean = products.copy()
products_clean['brand'] = products_clean['brand'].fillna('不明')

# === Step 4: データ結合 ===
df = pd.merge(orders_clean, customers_clean, on='customer_id', how='left')
df = pd.merge(df, products_clean, on='product_id', how='left')

print(f"\n結合後のshape: {df.shape}")
print(f"結合後の欠損値:\n{df.isnull().sum()}")

# === Step 5: 結合検証 ===
print(f"\n結合前のorders: {len(orders_clean)}")
print(f"結合後のdf: {len(df)}")
assert len(df) == len(orders_clean), "結合で行数が変化しています"
print("結合検証OK: 行数は一致しています")

# === Step 1: 日付処理 ===
df['order_date'] = pd.to_datetime(df['order_date'])
df['year_month'] = df['order_date'].dt.to_period('M')
df['day_of_week'] = df['order_date'].dt.day_name()
df['is_weekend'] = df['order_date'].dt.dayofweek >= 5

# === Step 2: 完了注文のみ ===
df_completed = df[df['status'] == 'completed'].copy()
print(f"完了注文数: {len(df_completed)}")

# === Step 3: RFM指標 ===
reference_date = df_completed['order_date'].max() + pd.Timedelta(days=1)

rfm = df_completed.groupby('customer_id').agg(
    recency=('order_date', lambda x: (reference_date - x.max()).days),
    frequency=('order_id', 'nunique'),
    monetary=('amount', 'sum')
).reset_index()

# RFMスコア（四分位数でスコアリング）
rfm['r_score'] = pd.qcut(rfm['recency'], 4, labels=[4, 3, 2, 1]).astype(int)
rfm['f_score'] = pd.qcut(rfm['frequency'].rank(method='first'), 4, labels=[1, 2, 3, 4]).astype(int)
rfm['m_score'] = pd.qcut(rfm['monetary'], 4, labels=[1, 2, 3, 4]).astype(int)
rfm['rfm_score'] = rfm['r_score'] * 100 + rfm['f_score'] * 10 + rfm['m_score']

print(f"\nRFM分析結果:")
print(rfm.describe())

# === Step 4: カテゴリ別月別サマリー ===
monthly_summary = df_completed.pivot_table(
    values='amount',
    index='year_month',
    columns='category',
    aggfunc=['sum', 'count'],
    fill_value=0
)
print(f"\n月別カテゴリサマリー:")
print(monthly_summary.head())

# === Step 5: 出力 ===
# df_completed.to_csv('netshop_cleaned.csv', index=False)
# rfm.to_csv('netshop_rfm.csv', index=False)
print("\nデータセット作成完了！")
print(f"  - クレンジング済みデータ: {df_completed.shape}")
print(f"  - RFMデータ: {rfm.shape}")