经验误差与过拟合

经验误差是模型在训练集上的平均损失，过拟合指模型过度拟合训练数据而削弱泛化能力。

评估方法

通过留出法、交叉验证或自助法划分数据集，客观评估模型的泛化性能。

性能度量

使用准确率、精确率、召回率、F1值等指标量化模型在测试集上的预测能力。

ROC曲线与AUC

ROC曲线描绘真正例率与假正例率的权衡，AUC值衡量分类器排序质量的整体性能。

代价敏感错误率与代价曲线

代价敏感错误率为不同误判类型赋予非对称代价，代价曲线用于可视化最优阈值下的代价期望。

假设检验

假设检验通过统计显著性判断模型性能差异是否由随机波动引起，而非真实性能差别。

t检验

t检验用于比较两个模型在多个测试集上的平均性能是否存在显著差异。

McNemar检验

McNemar检验基于列联表分析两个分类器在同一测试集上预测结果的一致性差异。

Friedman检验与Nemenyi检验

Friedman检验比较多个模型在多个数据集上的平均秩次，Nemenyi检验进行事后成对对比。

偏差与方差

偏差度量模型预测的准确度，方差度量模型对训练数据波动的敏感度，二者共同决定泛化误差。

简单线性回归模型

通过单个自变量与因变量之间的线性关系进行连续值预测的最基本回归模型。

多元线性回归模型

利用多个特征变量与目标变量之间的线性关系建立回归方程，进行多维预测。

逻辑回归模型

通过Sigmoid函数将线性回归输出映射到概率空间，用于二分类任务。

线性判别分析（LDA）

通过最大化类间散度与类内散度之比寻找最佳投影方向，实现分类与降维。

多分类模型

通过OvO、OvR或softmax等方式将二分类器扩展为处理多类别分类问题。

类不平衡处理（Rescaling）

通过重采样或代价调整缓解类别分布不均导致的模型偏向多数类问题。

决策树模型

基于树结构进行特征划分，通过递归分裂构建可解释的分类或回归模型。

决策树剪枝

通过删除冗余分支或子树降低过拟合风险，提升决策树的泛化能力。

多变量决策树

在每个节点使用多个特征的线性组合进行划分，增强决策树的表达能力。

神经元模型

模拟生物神经元的基本计算单元，接收输入信号并经过加权求和与非线性变换输出。

M-P神经元模型

McCulloch-Pitts神经元，二值阈值逻辑单元，是人工神经网络的早期数学抽象。

激活函数

向神经网络引入非线性变换（如ReLU、Sigmoid、Tanh），使网络可以逼近任意复杂函数。

感知机与多层网络

感知机是单层线性分类器，多层网络（MLP）通过隐藏层实现非线性决策边界。

反向传播

利用链式法则计算损失函数对权重的梯度，是训练多层神经网络的核心算法。

全局与局部极值

损失函数曲面中的全局最小值与局部极小值，优化算法需避免陷入局部最优。

RBF网络

径向基函数网络，使用高斯核作为激活函数的单隐层前馈神经网络，擅长局部逼近。

ART网络

自适应共振理论网络，通过竞争学习与警戒机制实现增量式的稳定模式识别。

SOM网络

自组织映射网络，将高维输入数据保序映射到低维拓扑网格，实现聚类与可视化。

级联相关网络

级联相关网络通过动态增加隐藏单元并最大化其与残差的相关性，实现结构自适应学习。

ELM网络

极限学习机，随机初始化隐层权重并解析计算输出权重，训练速度极快。

玻尔兹曼机

基于能量模型的随机神经网络，通过模拟退火学习数据分布，是深度信念网络的基础。

DBN

深度信念网络，由多层受限玻尔兹曼机堆叠而成，通过逐层无监督预训练提取特征。

CNN

卷积神经网络，通过卷积核、池化层和共享权重提取局部空间特征，广泛用于视觉任务。

SVM

支持向量机通过最大化间隔超平面进行分类，并利用核技巧处理非线性问题。

贝叶斯决策论

基于后验概率与损失函数最小化期望风险，是统计决策理论的核心框架。

最大似然估计

通过最大化观测数据在给定参数下的似然函数来估计未知参数。

朴素贝叶斯分类器

基于贝叶斯定理与特征条件独立假设，计算后验概率并进行分类决策。