决策树剪枝（代价复杂度）交互式模拟

📐 决策树剪枝核心公式

剪枝是防止决策树过拟合的关键技术。核心思想是在模型复杂度和训练误差之间寻找平衡。最常用的是代价复杂度剪枝（CCP）。

在训练误差的基础上增加一个正则项，惩罚树的复杂度（叶子数量）。参数 α 控制惩罚强度。α 越大，剪枝越激进。

参数说明：
C_α(T) — 剪枝后树 T 的总损失
C(T) — 树 T 的经验损失（如误分类率）
|T| — 树 T 的叶子节点个数
α — 正则化参数（≥0），权衡复杂度与拟合度

对于单个叶节点，其经验损失等于该节点中误分类样本的比例。若节点中样本属于多个类别，则取非主导类别的占比。

参数说明：
err(t) — 叶节点 t 的误分类率
p_majority — 节点中占比最大的类别比例
误分类率 = 1 − max(p₀, p₁, …)

对于每个内部节点，若将其剪枝为叶节点后总损失小于或等于保留子树的损失，则执行剪枝。

参数说明：
C_α(T_t) — 保留子树的总损失
C_α(t) — 剪枝后单叶节点的总损失
当 C_α(t) ≤ C_α(T_t) 时剪枝

调整正则化强度 α、树的深度和数据噪声，观察剪枝前后决策树结构变化与损失函数值。

正则化参数 α 当前 α = 0.05

决策树最大深度

数据噪声水平值越大噪声越多，分类边界越模糊

原始树叶子数

剪枝树叶子数

原始树损失 C(T)

剪枝树损失 C_α(T)

决策树剪枝（Pruning）是一种防止模型过拟合的技术。在决策树训练过程中，树会不断生长以拟合训练数据，导致模型过于复杂、泛化能力下降。剪枝通过缩减树的规模来简化模型，提高对新数据的预测能力。

剪枝分为预剪枝（在构建过程中提前停止）和后剪枝（先完整生长再修剪）。其中代价复杂度剪枝（CCP）是最经典的后剪枝方法，它通过引入正则化参数 α 来权衡训练误差和树的复杂度，目标是找到使总损失最小的子树。

想象一棵过于茂密的决策树，它记住了训练数据中的每一个细节，包括噪声和异常值，就像背答案的“学霸”，换一份新试卷就露馅了。

剪枝就像一位园丁，修剪掉那些只对少数样本有效的“细枝末节”，保留主干和关键分支。这样树变得更简单、更稳健，面对新数据时也不容易出错。正则化参数 α 就是园丁的“修剪强度”旋钮：α 越大，剪得越狠，树越简单。

决策树是众多集成学习算法（如随机森林、梯度提升树）的基础组件，剪枝质量直接影响模型效果。