📐 类别不平衡与再缩放(Rescaling)

在分类任务中,当不同类别的样本数量差异较大时,模型容易偏向多数类。 再缩放(Rescaling)通过调整各类别的权重来纠正这种偏差,使分类器在决策时对少数类给予更高的重视。

权重计算公式(二分类)
$$w^+ = \frac{N}{2 \times m^+} = \frac{m^+ + m^-}{2m^+}$$
$$w^- = \frac{N}{2 \times m^-} = \frac{m^+ + m^-}{2m^-}$$
概率调整公式
$$P'(+|x) = \frac{P(+|x) \cdot w^+}{P(+|x) \cdot w^+ + P(-|x) \cdot w^-}$$
一般形式(K类)
$$w_c = \frac{N}{K \times N_c}, \quad P'(c|x) = \frac{P(c|x) \cdot w_c}{\sum_{j=1}^{K} P(j|x) \cdot w_j}$$
符号说明

N = 总样本数  |  m⁺ = 正例数  |  m⁻ = 负例数

w⁺ = 正类权重  |  w⁻ = 负类权重

P(+|x) = 原始正类概率  |  P'(+|x) = 调整后概率

m⁺ — 正类样本数量 m⁻ — 负类样本数量 N = m⁺ + m⁻ — 总样本数 w⁺ — 正类再缩放权重 w⁻ — 负类再缩放权重 P(+|x) — 模型原始预测概率 P'(+|x) — 再缩放后概率
🔬 交互式模拟

调整左侧参数,观察再缩放权重和调整后概率的实时变化。预设场景可快速切换不同不平衡程度的数据分布。

⚙️ 参数控制
总样本数 N 1000.00
正类权重 w⁺ 5.00
负类权重 w⁻ 0.56
原始概率 P(+) 0.50
调整后概率 P'(+) 0.90
概率变化量 ΔP +0.40
📊 样本分布与再缩放权重
🎯 概率调整前后对比
📖 深入理解再缩放
📘 标准介绍

再缩放(Rescaling)是处理机器学习中类别不平衡(Class Imbalance)问题的基本策略之一。 其核心思想是通过对不同类别的样本赋予不同的权重系数,来调整分类器在决策过程中的偏向性。

在二分类问题中,设正例数为 m⁺,负例数为 m⁻,总样本数 N = m⁺ + m⁻。再缩放权重定义为:

w⁺ = N / (2 × m⁺)   和   w⁻ = N / (2 × m⁻)

调整后的概率通过加权归一化得到: P'(+|x) = P(+|x)·w⁺ / (P(+|x)·w⁺ + P(-|x)·w⁻)。 当某类样本数较少时,其权重系数较大,从而在决策中获得更高的重视程度。对于K类问题,一般形式为 w_c = N / (K × N_c)。

💡 通俗介绍

想象一个班级里男生只有5人,女生有95人。如果老师按照人数比例来选班干部,男生几乎没机会被选中。 再缩放就像给男生增加了"加权票"——每个男生的意见被放大多倍,使得在最终决策中, 男生的声音不会被女生的数量优势完全淹没。

在机器学习中,当正负样本数量差异很大时,模型容易"偏心"多数类。再缩放通过给少数类更高的权重, 让模型在训练和预测时更加关注少数类样本,从而纠正这种偏差。

🎯 解决了什么问题

类别不平衡是机器学习中常见且棘手的问题。当训练数据中各类样本数量差异很大时, 标准分类器往往偏向多数类,导致少数类的识别准确率极低。具体表现为:

  • 模型可能将所有样本都预测为多数类,虽然总体准确率很高,但对少数类毫无识别能力
  • 少数类的特征模式被多数类"淹没",模型难以学习到有效的判别边界
  • 在测试集上,少数类的召回率(Recall)和F1分数往往极低

再缩放通过调整权重,在不改变原始数据分布的前提下,使分类器对不同类别给予不同的重视程度, 从而改善少数类的识别能力。它是一种轻量级、易实现的解决方案。

⭐ 为什么重要

在现实世界的许多应用中,少数类往往是我们最关注的。例如:

  • 欺诈检测:欺诈交易远少于正常交易,但漏掉一笔欺诈交易的代价极高
  • 医疗诊断:患病样本远少于健康样本,但漏诊的后果是致命的
  • 故障预测:设备故障事件稀少,但一次故障可能导致巨大损失
  • 入侵检测:网络攻击行为占比极低,但安全威胁不容忽视

如果不能正确处理类别不平衡,模型的"高准确率"只是假象。再缩放提供了一种简单有效的方法 来提升模型对少数类的敏感度,使模型在关键场景中真正发挥作用。

🏢 应用场景
  • 金融风控:信用卡欺诈检测、洗钱交易识别
  • 医疗健康:罕见病筛查、肿瘤良恶性诊断
  • 工业制造:设备故障预测、产品质量缺陷检测
  • 网络安全:入侵检测、恶意流量识别、垃圾邮件过滤
  • 客户管理:客户流失预测、高价值客户识别
  • 文本分类:情感分析中的极端情绪识别、主题分类中的小众类别
  • 图像识别:医疗影像中的病灶检测、安防监控中的异常行为识别
⚠️ 缺陷与局限性
  • 权重选择依赖先验知识:如果类别先验概率估计不准确,权重设置可能不当, 影响模型效果
  • 过度调整风险:当少数类样本极少时,权重可能非常大, 导致模型过度偏向少数类,产生新的偏差
  • 极端不平衡效果有限:对于极端不平衡(如1:10000), 单纯靠再缩放可能不够,需要结合过采样、欠采样或集成方法
  • 概率语义改变:调整后的概率不再具有原始校准意义, 不能直接解释为真实的类别概率
  • 多分类复杂度增加:对于多分类问题, 权重的确定和各类别之间的交互更加复杂
  • 不改变数据本质:再缩放只是调整了权重, 并没有增加少数类的信息量,少数类的特征覆盖仍然有限