决策树基本流程交互式模拟

📐 决策树核心公式

决策树通过衡量数据集的不纯度来选择最佳分裂方式。以下是三个最核心的度量公式。

信息熵衡量数据集的混乱程度。熵值越大，数据越混杂；熵值为0时，数据完全纯净（所有样本属于同一类别）。

参数说明：
H(D) — 数据集 D 的信息熵
K — 类别总数（二分类时 K=2）
p_k — 第 k 类样本在 D 中所占比例
log₂ — 以2为底的对数（信息论标准）

信息增益衡量使用特征 A 进行分裂后，不确定性减少的程度。增益越大，该分裂越有效。决策树在每步选择信息增益最大的特征进行分裂。

参数说明：
IG(D, A) — 使用特征 A 分裂数据集 D 的信息增益
V — 特征 A 的取值个数（二分时 V=2）
|D^v| — 子集 D^v 的样本数量
|D| — 总样本数量

基尼指数是另一种不纯度度量，表示从数据集中随机抽取两个样本、它们类别不一致的概率。基尼指数越小，数据越纯净。

参数说明：
Gini(D) — 数据集 D 的基尼指数
p_k — 第 k 类样本所占比例
取值范围：[0, 0.5]（二分类），0 表示完全纯净

调整左侧参数，观察右侧数据分布与决策树结构如何实时变化。系统会自动计算最佳分裂方案供您参考。

样本总数当前：100 个样本

数据分离度（噪声水平）值越大 → 两类数据越容易分离；值越小 → 噪声越大

分裂特征

分裂阈值阈值：5.00

决策树最大深度

根节点熵 H(D)

分裂后熵（加权）

信息增益 IG

基尼指数 Gini

💡 计算中...

决策树（Decision Tree）是一种监督学习算法，用于分类和回归任务。它通过递归地将数据集分割成更小的子集来构建一个树形结构。在树的每个内部节点，算法选择一个特征和一个阈值，将数据划分为两个（或更多）子集，目标是使每个子集尽可能纯净（即属于同一类别的样本占比尽可能高）。

分割的优劣通过信息熵、信息增益或基尼指数来衡量。决策树的构建过程是一个贪心算法：每一步都选择当前最优的分裂方式，而不考虑全局最优。最终生成的树可以用于对新样本进行分类预测——从根节点开始，根据特征值沿树向下遍历，直到到达叶节点。

决策树就像一个精妙的"20个问题"游戏。想象你要猜一个水果：你可能会先问"它是圆形的吗？"——如果是，再问"它的皮是黄色的吗？"——如果是，那很可能是香蕉。每个问题都是一次分裂，把可能性范围缩小一半。

在机器学习中，决策树用数据来"学会"问哪些问题。它会自动找到最能区分不同类别的特征和分界值——比如"花瓣长度 ≤ 3.5cm 吗？"这样的问题。好的问题能让分类结果迅速变清晰，这就是信息增益的核心思想：问完问题后，混乱程度降低得越多越好。

决策树主要解决分类和回归问题，特别适合以下场景：

决策树是机器学习领域的基石算法，其重要性体现在：