贝叶斯决策论 — 核心公式
x 后，样本属于类别 ωᵢ 的后验概率。参数：
P(x|ωᵢ) — 类条件概率（似然度）；P(ωᵢ) — 先验概率；P(x) — 证据因子（归一化常数）。
P(x) 是所有类别下产生特征 x 的总概率。参数：
c — 类别总数；对每个类别 j，累加其类条件概率与先验概率的乘积。
ωᵢ 的特征服从正态分布，μᵢ 为均值，σᵢ 为标准差。参数：
μᵢ — 类别中心；σᵢ — 类别分散程度（越大越分散）。
参数：分子为类别
i 的加权似然度；分母为所有类别的加权似然度之和。
等价形式：若
P(x|ω₁)P(ω₁) > P(x|ω₂)P(ω₂)，则判为 ω₁。
αᵢ（判为类别i）的条件风险是所有可能真实类别的损失加权和。决策规则：选择
R(αᵢ|x) 最小的决策，即 α* = arg min R(αᵢ|x)。参数：
λ(αᵢ|ωⱼ) — 将真实类别 ωⱼ 判为 ωᵢ 的损失（通常正确决策损失为0）。
交互式模拟
深入了解贝叶斯决策论
📖 标准介绍
贝叶斯决策论（Bayesian Decision Theory）是统计模式识别中基于概率框架的最优决策方法。它假设所有相关概率分布已知（包括先验概率和类条件概率密度），然后利用贝叶斯公式计算后验概率，并据此做出使期望风险最小化的决策。在最小错误率准则下，贝叶斯决策等价于选择后验概率最大的类别（MAP准则），这一决策规则在理论上保证了分类错误率的最小化。当引入损失矩阵时，贝叶斯决策进一步扩展为最小风险决策，能够根据不同类型错误的严重程度调整决策边界，使期望总损失最小。
💡 通俗介绍
想象你在判断一封邮件是否为垃圾邮件。你不会凭空猜测，而是会看邮件中出现的特征词（如"免费""中奖"等），然后结合"垃圾邮件在总体中的比例"以及"垃圾邮件中出现这些词的概率"来做判断。贝叶斯决策论就是把这种直觉数学化：先验概率就是你对类别的初始认知，类条件概率就是"如果属于某类别，出现该特征的概率"，后验概率则是综合所有信息后的最终判断。贝叶斯决策论告诉我们：选择后验概率最大的类别，犯错的可能性最小。
❓ 解决了什么问题
贝叶斯决策论解决了不确定性环境下的最优分类决策问题。在实际应用中，特征观测往往带有随机性和重叠性——同一个特征值可能来自不同类别。贝叶斯决策论提供了一个严格的数学框架来回答："在观测到特征x的条件下，样本最可能属于哪个类别？"以及"如果不同错误的代价不同，应该如何调整决策？"它从概率角度给出了分类错误率的下界，是所有分类器性能的理论基准。
⭐ 为什么重要
贝叶斯决策论是模式识别和机器学习的理论基石。首先，它提供了最优分类器的理论定义——贝叶斯分类器在错误率意义上是最优的，任何其他分类器都无法超越它（在真实分布已知的前提下）。其次，它为评估其他分类器的性能提供了基准线。第三，最小风险决策框架引入了代价敏感学习的核心思想，在医疗诊断、金融风控等领域至关重要。此外，贝叶斯思想还启发了大量实用算法，如朴素贝叶斯分类器、贝叶斯网络、贝叶斯优化等。
🔧 应用场景
- 垃圾邮件过滤：朴素贝叶斯分类器是经典应用，基于词频特征计算邮件为垃圾邮件的后验概率。
- 医疗诊断：结合症状特征、先验患病率和检测准确率，计算患者患病的后验概率，辅助医生决策。
- 金融风控：评估贷款申请人违约概率，结合不同误判的损失（拒绝好客户 vs 放贷给坏客户）进行最小风险决策。
- 语音识别：声学模型中利用贝叶斯框架结合声学特征和语言先验。
- 计算机视觉：目标检测和图像分类中的概率建模基础。
⚠️ 缺陷与局限
- 概率分布假设：需要准确知道先验概率和类条件概率密度，实际中往往只能估计，估计误差会影响决策质量。
- 维度灾难：当特征维度很高时，类条件概率密度的估计变得极其困难，需要指数级的数据量。
- 特征独立性假设：朴素贝叶斯假设特征条件独立，这在现实中常常不成立，可能导致后验概率估计偏差。
- 对先验的敏感性：先验概率的选择对后验概率有显著影响，不当的先验可能导致错误决策。
- 计算复杂度：精确的贝叶斯推理在复杂模型中可能计算量过大，需要近似方法。