支持向量机 — 核心公式

以下公式构成了SVM的理论基础，每个公式都附有详细的参数说明与含义解释。

① 线性SVM决策函数

参数：
w — 权重向量，决定决策边界的法线方向
x — 输入样本的特征向量
b — 偏置项（截距），决定决策边界的位置偏移
含义：决策函数输出一个实数值，其符号决定分类结果。当 f(x) > 0 时预测为正类（+1），当 f(x) < 0 时预测为负类（-1）。f(x) = 0 定义了决策边界超平面。

② 硬间隔SVM原始优化问题

参数：
‖w‖² — 权重向量的L2范数平方，与间隔宽度成反比
yᵢ — 第i个样本的标签，取值 +1 或 -1
xᵢ — 第i个训练样本
含义：在保证所有样本被正确分类（约束条件）的前提下，最小化权重范数以最大化分类间隔。间隔宽度为 2/‖w‖，最大化间隔等价于最小化‖w‖²。

③ 软间隔SVM优化问题

参数：
C — 惩罚系数，权衡间隔最大化与误分类容忍度
ξᵢ — 松弛变量，允许第i个样本违反间隔约束的程度
n — 训练样本总数
含义：软间隔SVM通过引入松弛变量ξᵢ允许部分样本被误分类或落入间隔内部。参数C控制权衡：C越大，对误分类惩罚越重，间隔越窄；C越小，允许更多误分类，间隔越宽。

④ 拉格朗日函数

参数：
αᵢ — 拉格朗日乘子，对应每个训练样本的约束
αᵢ ≥ 0 — 非负约束确保最优解的合法性
含义：将带约束的原始优化问题转化为无约束的拉格朗日函数。通过对w和b求偏导并令其为零，可得到对偶问题。拉格朗日乘子αᵢ中非零项对应的样本即为支持向量。

⑤ 对偶优化问题

参数：
xᵢᵀxⱼ — 样本间的内积，是核函数的基础
αᵢ — 对偶变量，上界为C（与软间隔惩罚系数一致）
含义：对偶问题仅依赖于样本间的内积，这为核技巧的引入提供了基础。求解对偶问题得到的αᵢ决定了决策函数。当αᵢ=0时样本不影响决策；当0<αᵢ<C时样本位于间隔边界上；当αᵢ=C时样本被误分类或在间隔内部。

⑥ 核函数定义

参数：
K(xᵢ, xⱼ) — 核函数，计算两个样本在特征空间中的内积
φ(·) — 从原始空间到高维特征空间的映射函数
含义：核函数允许我们在不显式计算φ(x)的情况下，直接计算高维特征空间中的内积。这使得SVM能够通过将数据映射到高维空间来处理非线性分类问题，同时避免"维度灾难"。

⑦ 高斯径向基(RBF)核函数

参数：
γ (gamma) — 核宽度参数，控制单个样本的影响范围
‖xᵢ - xⱼ‖² — 两个样本之间的欧氏距离平方
含义：RBF核是最常用的核函数之一。γ越大，核函数衰减越快，决策边界越复杂（可能过拟合）；γ越小，决策边界越平滑（可能欠拟合）。RBF核对应于无限维的特征空间。

⑧ 对偶形式决策函数

参数：
αᵢ — 对偶变量（拉格朗日乘子），非零项对应支持向量
yᵢ — 训练样本的标签
K(xᵢ, x) — 核函数，计算训练样本与测试样本的相似度
含义：对偶形式的决策函数将决策表示为支持向量的加权核函数之和。只有支持向量（αᵢ>0）对决策有贡献，这使得SVM具有稀疏性。b通过支持向量满足的KKT条件求解。

交互式模拟

调节左侧参数，点击「训练SVM」观察决策边界、间隔区域与支持向量的变化。

模型参数

模型状态：等待训练
训练准确率：--
支持向量数：--
间隔宽度：--
最终损失：--

决策边界可视化

关于支持向量机 (Support Vector Machine, SVM)

📖 标准介绍

支持向量机（Support Vector Machine，SVM）是一种基于统计学习理论的监督学习模型，由Vapnik等人于1995年正式提出。SVM的核心思想是在特征空间中寻找一个最优超平面来分隔不同类别的样本，使得该超平面到最近训练样本（即支持向量）的距离（称为间隔，margin）最大化。对于线性不可分的数据，SVM通过引入核函数（如高斯RBF核、多项式核等）将数据隐式映射到高维特征空间，在高维空间中构造线性决策边界，从而实现对非线性问题的求解。SVM的数学基础坚实，基于VC维理论和结构风险最小化原则，具有较强的泛化能力，尤其适用于小样本、高维数据的分类问题。

SVM的优化问题可表述为：在约束条件 yᵢ(wᵀxᵢ + b) ≥ 1 - ξᵢ（ξᵢ ≥ 0）下，最小化目标函数 (1/2)‖w‖² + C·Σξᵢ。其中C是惩罚系数，控制模型对误分类的容忍程度。通过对偶变换，该问题转化为仅依赖于样本间内积（或核函数值）的二次规划问题，可使用SMO（Sequential Minimal Optimization）等算法高效求解。最终决策函数为 f(x) = ΣαᵢyᵢK(xᵢ, x) + b，只有支持向量（αᵢ > 0的样本）参与决策，体现了SVM的稀疏性优势。

💡 通俗介绍

想象你在一个平面上有两堆不同颜色的球（红色和蓝色），你需要画一条线把它们分开。支持向量机要做的，就是找到最好的那条线——不是随便哪条能分开的线，而是让离这条线最近的球到线的距离尽可能大的那条。这些离线最近的球就是"支持向量"，它们像"支撑柱"一样决定了线的位置。如果球不是线性分布的（比如红色球围成一个圈，蓝色球在圈里面），那就需要把球"投影"到更高的维度（就像把平面上的点弹到空中），在高维空间中再找一条"超平面"来分开它们。这个"投影"的数学工具就是核函数。SVM的优点在于它只关心"边界上"的那些点（支持向量），而不是所有数据点，因此计算高效且不容易过拟合。

🎯 解决了什么问题

  • 二分类问题：SVM最初设计用于解决二分类问题，寻找最优分类超平面，将不同类别的样本分离。
  • 非线性分类：通过核技巧（Kernel Trick），SVM能够处理线性不可分的数据，在不需要显式计算高维映射的情况下实现非线性决策边界。
  • 小样本学习：与传统统计方法（如神经网络）相比，SVM在小样本情况下仍能保持良好的泛化性能，不容易过拟合。
  • 高维数据分类：SVM在处理高维稀疏数据（如文本分类中的词频向量）时表现优异，因为其复杂度主要取决于支持向量数量而非特征维度。
  • 多分类问题：通过"一对一"（one-vs-one）或"一对多"（one-vs-rest）等策略，SVM可扩展到多分类任务。

⭐ 为什么重要

  • 坚实的理论基础：SVM基于统计学习理论和结构风险最小化原则，其泛化误差上界有严格的数学保证，这使得SVM在理论上具有优越性。
  • 全局最优解：与神经网络等容易陷入局部最优的算法不同，SVM的优化问题是凸二次规划，保证找到全局最优解。
  • 稀疏性：最终模型仅由少数支持向量决定，模型复杂度不随训练样本数线性增长，预测时计算效率高。
  • 核技巧的通用性：核方法的思想不仅限于SVM，还启发了核PCA、核回归等众多核方法，成为机器学习的重要分支。
  • 历史地位：在深度学习兴起之前，SVM是机器学习领域最主流的分类算法之一，至今仍在许多领域（如生物信息学、文本分类）保持竞争力。

🔧 应用场景

  • 文本分类与情感分析：SVM在垃圾邮件过滤、新闻分类、情感极性判断等任务中表现优异，尤其适合高维稀疏的文本特征。
  • 图像识别：手写数字识别（如MNIST）、人脸检测、目标分类等，SVM常与HOG、SIFT等特征提取方法结合使用。
  • 生物信息学：基因表达数据分类、蛋白质结构预测、疾病诊断等，SVM能够处理高维小样本的生物数据。
  • 金融风控：信用评分、欺诈检测、股票趋势预测等，SVM的稳健性使其在金融领域得到广泛应用。
  • 医学诊断：基于医疗影像或检验数据的疾病辅助诊断，如癌症分类、病理图像分析。
  • 工业检测：产品质量检测、故障诊断、异常检测等工业场景中的分类问题。

⚠️ 缺陷与局限性

  • 大规模数据训练困难：SVM的训练时间复杂度介于O(n²)到O(n³)之间（n为样本数），当样本量超过数十万时，训练效率显著下降。
  • 参数选择敏感：惩罚系数C和核函数参数（如RBF核的γ）对模型性能影响很大，通常需要通过网格搜索或交叉验证来确定最优参数组合。
  • 核函数选择依赖经验：不同问题可能需要不同的核函数，如何选择合适的核函数缺乏统一的理论指导，往往需要领域知识和实验验证。
  • 概率输出不直接：标准SVM输出的是决策函数值而非概率，需要通过Platt缩放等后处理方法才能获得概率估计。
  • 对类别不平衡敏感：当正负样本比例严重失衡时，SVM的决策边界可能偏向少数类，需要引入类别权重或采样策略来缓解。
  • 解释性相对有限：虽然支持向量提供了对决策边界的直观理解，但在使用非线性核函数时，模型的解释性不如决策树等方法直观。
  • 不适合大规模多分类：将SVM扩展到多分类问题需要构建多个二分类器，在大规模多分类场景下计算开销较大。