多变量决策树核心公式
与单变量决策树不同，多变量决策树的每个内部节点使用多个特征的线性组合进行划分，能产生任意方向的决策边界。
① 线性判别函数
节点通过一个线性函数将输入向量 \(\mathbf{x}\) 映射到实数，该函数由权重向量 \(\mathbf{w}\) 和偏置 \(b\) 定义。
参数说明：
\(\mathbf{x} = (x_1, x_2, \dots, x_n)\) — 输入特征向量
\(\mathbf{w} = (w_1, w_2, \dots, w_n)\) — 权重向量
\(b\) — 偏置项
\(f(\mathbf{x})\) — 线性判别值
② 分裂规则
根据线性判别值的正负将样本分到左右子树。当 \(f(\mathbf{x}) > 0\) 时进入右子树，否则进入左子树。
参数说明：
\(f(\mathbf{x})\) — 线性判别函数输出
决策边界为超平面：\(\mathbf{w} \cdot \mathbf{x} + b = 0\)
③ 加权不纯度（基尼指数）
多变量分裂同样使用不纯度度量来评价划分质量，常用基尼指数或信息熵。加权不纯度越低，划分越纯净。
参数说明：
\(D\) — 当前数据集
\(D_L, D_R\) — 左右子集
\(Gini(D)\) — 基尼指数
\(|D|\) — 样本数量
多变量分裂交互模拟
拖动滑块调整线性判别函数的权重和偏置，观察决策边界如何旋转平移，以及分类不纯度的变化。
⚙️ 线性判别参数
📊 数据分布与线性决策边界
🌳 当前决策树结构
📖 标准介绍
多变量决策树（Multivariate Decision Tree）是决策树的一种扩展，其内部节点不再仅基于单个特征的阈值进行测试，而是使用多个特征的线性组合（或更复杂的函数）来划分数据。这使得决策边界可以是任意方向的超平面，从而在处理特征之间相互关联的问题时具有更强的表达能力。
例如，一个二维多变量节点可以表示为 \(w_1 x_1 + w_2 x_2 + b > 0\)，对应的决策边界是一条任意斜率的直线。相比单变量决策树的轴平行边界，多变量树通常能用更浅的树达到相似的精度。
💬 通俗介绍
普通的决策树像是一个只会问“是/否”简单问题的机器人，而且每个问题只能关于一个特征，比如“x₁是否大于5？”。这种问题只能画出水平或垂直的线，划分区域像是由一堆矩形拼成的。
多变量决策树则更聪明，它能同时考虑多个特征，问出诸如“\(2x₁ + 3x₂ - 5\) 是否大于0？”这样的问题。这种问题可以画出斜线，划分区域更加灵活，往往用更少的问题就能把数据分开。
🎯 解决了什么问题
- 轴平行限制：单变量树只能产生轴平行的分段常数边界，对斜向分布的数据效率低下。
- 特征交互：能直接建模特征之间的线性组合关系，无需后续构造交叉特征。
- 模型紧凑性：在达到相近精度时，多变量树通常具有更小的树深度和节点数。
- 表示能力：可以逼近任意线性决策边界，而单变量树需要大量分段近似。
⭐ 为什么重要
多变量决策树扩展了传统决策树的能力，在模式识别和数据挖掘中有着重要地位。它保留了决策树可解释性强的优点，同时引入了更强的分类边界表达能力。其思想也启发了许多集成方法，如斜决策树森林（Oblique Random Forest）。此外，多变量分裂在神经网络出现之前是构建线性分类器的重要方法之一。
🔧 应用场景
- 图像识别：像素特征之间高度相关，斜边界能更高效地划分。
- 医疗诊断：多个生物指标的组合往往比单一指标更有判别力。
- 金融风控：信用评分模型中多个财务指标的线性组合。
- 工业过程控制：传感器数据融合，通过多个变量的组合判断状态。
- 文本分类：词向量特征的线性组合用于文档主题分类。
⚠️ 缺陷与局限
- 计算复杂度高：寻找最优线性组合通常需要解决优化问题（如线性判别分析或感知器），比单变量阈值搜索慢。
- 过拟合风险：参数更多，若不加以约束可能更容易过拟合。
- 可解释性下降：虽然仍是树结构，但节点测试是线性组合，不如单阈值直观。
- 局部最优：贪心构建可能导致非全局最优的线性分裂。
- 对数据缩放敏感：不同特征的量纲差异可能影响权重学习，需提前标准化。