SimLabs

定义系统状态的标量能量值。能量越低，状态越稳定、概率越高。RBM的能量由可见层偏置、隐藏层偏置和双向连接权重三部分贡献。

• v_i — 可见层第 i 个神经元状态（0或1），共 m 个
• h_j — 隐藏层第 j 个神经元状态（0或1），共 n 个
• a_i — 可见层第 i 个神经元的偏置
• b_j — 隐藏层第 j 个神经元的偏置
• w_{ij} — 可见层 i 与隐藏层 j 之间的连接权重

系统处于特定状态 (v,h) 的概率遵循Boltzmann分布——能量越低的状态出现概率越大。这是统计力学的核心思想在机器学习中的直接应用。

• Z — 配分函数（归一化常数）
• E — 能量函数值
• e — 自然常数 ≈ 2.71828

对所有可能的可见层和隐藏层状态组合求和，确保概率分布归一化（总概率为1）。配分函数的计算复杂度随神经元数指数增长，这是Boltzmann机的主要计算瓶颈。

• 求和范围 — 覆盖所有 2^(m+n) 种状态组合

将任意实数映射到(0,1)区间，用于将神经元的总输入转化为激活概率。在RBM中，sigmoid是条件概率计算的核心。

• x — 神经元的总输入（偏置 + 加权和）
• 输出范围 — (0, 1)，可解释为概率

给定可见层状态 v 时，隐藏层第 j 个神经元激活的概率。由于RBM层内无连接，各隐藏单元条件独立，可并行采样。

• b_j — 隐藏层偏置
• w_{ij} — 连接权重
• σ — Sigmoid函数

给定隐藏层状态 h 时，可见层第 i 个神经元激活的概率。用于从隐藏层表示重建可见层数据，是Gibbs采样的反向步骤。

• a_i — 可见层偏置
• h_j — 隐藏层神经元状态

温度 T 控制概率分布的"锐度"。高温使分布趋于均匀（更随机），低温使分布集中在低能量状态（更确定）。模拟退火利用这一性质。

• T — 温度参数，T > 0
• T → 0 — 分布退化为仅在最低能量状态
• T → ∞ — 分布趋于均匀分布

Hinton提出的CD算法：用数据驱动的正相统计量与一步Gibbs重建的负相统计量之差来近似梯度，避免计算昂贵的配分函数。

• η — 学习率
• ⟨·⟩_data — 数据分布下的期望
• ⟨·⟩_recon — 重建分布下的期望

最大化训练数据对数似然的精确梯度。第一项来自数据分布，第二项来自模型分布。CD算法用重建分布近似模型分布。

• P(v) — 可见层边缘概率
• model — 模型自身采样得到的分布

对隐藏层求和后的有效能量，衡量可见层状态 v 的"代价"。自由能量越低，表示该状态越符合模型学到的分布。可用于异常检测。

• F(v) — 可见状态 v 的自由能量
• 求和 — 对所有可能的隐藏层状态求和

衡量模型分布与数据分布之间的差异。训练RBM的目标就是最小化KL散度，使模型分布尽可能接近真实数据分布。

• P_data — 训练数据的经验分布
• P_model — RBM模型学到的分布
• D_KL ≥ 0 — 当且仅当两分布相同时为0