在分类任务中,当不同类别的样本数量差异较大时,模型容易偏向多数类。 再缩放(Rescaling)通过调整各类别的权重来纠正这种偏差,使分类器在决策时对少数类给予更高的重视。
N = 总样本数 | m⁺ = 正例数 | m⁻ = 负例数
w⁺ = 正类权重 | w⁻ = 负类权重
P(+|x) = 原始正类概率 | P'(+|x) = 调整后概率
m⁺ — 正类样本数量
m⁻ — 负类样本数量
N = m⁺ + m⁻ — 总样本数
w⁺ — 正类再缩放权重
w⁻ — 负类再缩放权重
P(+|x) — 模型原始预测概率
P'(+|x) — 再缩放后概率
调整左侧参数,观察再缩放权重和调整后概率的实时变化。预设场景可快速切换不同不平衡程度的数据分布。
再缩放(Rescaling)是处理机器学习中类别不平衡(Class Imbalance)问题的基本策略之一。 其核心思想是通过对不同类别的样本赋予不同的权重系数,来调整分类器在决策过程中的偏向性。
在二分类问题中,设正例数为 m⁺,负例数为 m⁻,总样本数 N = m⁺ + m⁻。再缩放权重定义为:
w⁺ = N / (2 × m⁺) 和 w⁻ = N / (2 × m⁻)
调整后的概率通过加权归一化得到: P'(+|x) = P(+|x)·w⁺ / (P(+|x)·w⁺ + P(-|x)·w⁻)。 当某类样本数较少时,其权重系数较大,从而在决策中获得更高的重视程度。对于K类问题,一般形式为 w_c = N / (K × N_c)。
想象一个班级里男生只有5人,女生有95人。如果老师按照人数比例来选班干部,男生几乎没机会被选中。 再缩放就像给男生增加了"加权票"——每个男生的意见被放大多倍,使得在最终决策中, 男生的声音不会被女生的数量优势完全淹没。
在机器学习中,当正负样本数量差异很大时,模型容易"偏心"多数类。再缩放通过给少数类更高的权重, 让模型在训练和预测时更加关注少数类样本,从而纠正这种偏差。
类别不平衡是机器学习中常见且棘手的问题。当训练数据中各类样本数量差异很大时, 标准分类器往往偏向多数类,导致少数类的识别准确率极低。具体表现为:
- 模型可能将所有样本都预测为多数类,虽然总体准确率很高,但对少数类毫无识别能力
- 少数类的特征模式被多数类"淹没",模型难以学习到有效的判别边界
- 在测试集上,少数类的召回率(Recall)和F1分数往往极低
再缩放通过调整权重,在不改变原始数据分布的前提下,使分类器对不同类别给予不同的重视程度, 从而改善少数类的识别能力。它是一种轻量级、易实现的解决方案。
在现实世界的许多应用中,少数类往往是我们最关注的。例如:
- 欺诈检测:欺诈交易远少于正常交易,但漏掉一笔欺诈交易的代价极高
- 医疗诊断:患病样本远少于健康样本,但漏诊的后果是致命的
- 故障预测:设备故障事件稀少,但一次故障可能导致巨大损失
- 入侵检测:网络攻击行为占比极低,但安全威胁不容忽视
如果不能正确处理类别不平衡,模型的"高准确率"只是假象。再缩放提供了一种简单有效的方法 来提升模型对少数类的敏感度,使模型在关键场景中真正发挥作用。
- 金融风控:信用卡欺诈检测、洗钱交易识别
- 医疗健康:罕见病筛查、肿瘤良恶性诊断
- 工业制造:设备故障预测、产品质量缺陷检测
- 网络安全:入侵检测、恶意流量识别、垃圾邮件过滤
- 客户管理:客户流失预测、高价值客户识别
- 文本分类:情感分析中的极端情绪识别、主题分类中的小众类别
- 图像识别:医疗影像中的病灶检测、安防监控中的异常行为识别
- 权重选择依赖先验知识:如果类别先验概率估计不准确,权重设置可能不当, 影响模型效果
- 过度调整风险:当少数类样本极少时,权重可能非常大, 导致模型过度偏向少数类,产生新的偏差
- 极端不平衡效果有限:对于极端不平衡(如1:10000), 单纯靠再缩放可能不够,需要结合过采样、欠采样或集成方法
- 概率语义改变:调整后的概率不再具有原始校准意义, 不能直接解释为真实的类别概率
- 多分类复杂度增加:对于多分类问题, 权重的确定和各类别之间的交互更加复杂
- 不改变数据本质:再缩放只是调整了权重, 并没有增加少数类的信息量,少数类的特征覆盖仍然有限