SimLabs

标准介绍：经验误差与过拟合

在机器学习中，经验误差（Empirical Error）是指模型在训练集上的误差，反映了模型对已知数据的拟合程度。而泛化误差（Generalization Error）则是模型在新样本上的预期误差，体现了模型的真正预测能力。

根据周志华《机器学习》（西瓜书）第2.1节的论述，当模型复杂度过高时，会出现过拟合（Overfitting）现象：模型将训练数据中的噪声也一并"记住"，导致经验误差极低但泛化误差显著升高。反之，模型过于简单则会导致欠拟合（Underfitting），此时经验误差与泛化误差均维持在较高水平。

模型选择的核心目标是在经验误差与泛化误差之间取得平衡——寻找使泛化误差最小化的模型复杂度，而非一味追求训练集上的完美表现。这体现了奥卡姆剃刀原则：在能够解释数据的前提下，应选择更简单的模型。

关键术语对照： 经验误差 ≈ 训练误差 | 泛化误差 ≈ 测试误差（近似） | 过拟合：低训练误差 + 高测试误差 | 欠拟合：两者均高

通俗介绍：像"背书"一样理解过拟合

想象你在准备一场数学考试。如果你死记硬背所有练习题（包括题目中的印刷错误和偶然的笔误），你在练习卷上能拿满分——这就是经验误差极低。但一旦考试中出现稍有变化的新题目，你就会出错——这就是泛化误差很高，也即过拟合。

反过来，如果你只掌握了最基本的加减法就去考试，那么无论是练习题还是考试题你都做不对——这就是欠拟合，经验误差和泛化误差都很大。

• 欠拟合：连训练题都做不对 → 模型太简单，连数据的基本规律都没学到。
• 过拟合：训练题全对但考试翻车 → 模型太复杂，把噪声当成了规律。
• 理想状态：训练题做得不错，考试也能稳定发挥 → 模型复杂度恰到好处。

上方的演示中，拖动滑块改变多项式阶数（即模型复杂度），观察： 低阶时曲线平滑但误差偏大（欠拟合）， 高阶时曲线剧烈波动、试图穿过每一个训练点（过拟合）， 而中间某个阶数（通常d=3~4）能达到最佳平衡——这就是模型选择的意义所在。