核心公式与参数

H(X) 信息熵

衡量单个随机变量 X 的不确定性程度。熵越大，不确定性越高。

参数：P(X=0) = p，P(X=1) = 1-p，其中 p ∈ (0, 1)

H(X,Y) 联合熵

衡量两个随机变量 X 和 Y 的联合不确定性。

参数：联合概率表 p(x,y)，共 4 个值（自动归一化）

H(Y|X) 条件熵

已知 X 后，Y 剩余的不确定性。

参数：P(X=0)、P(Y=0|X=0)、P(Y=0|X=1)

I(X;Y) 互信息

衡量 X 和 Y 共享的信息量，即一个变量对另一个变量的信息贡献。

参数：联合概率表 p(x,y)，共 4 个值（自动归一化）

KL(P‖Q) 相对熵

衡量分布 P 与分布 Q 之间的差异程度。非对称、非负。

参数：P分布概率 p₁，Q分布概率 q₁（均为二元分布）

交互模拟

🎛️ 调节概率分布

P(X=0) = p 0.50

当前信息熵 H(X)

1.00

比特 (bits)

💡 p=0.5 时熵最大(1 bit)，p→0或p→1时熵趋近于0

🎛️ 调节联合概率表

p(0,0) 0.25

p(0,1) 0.25

p(1,0) 0.25

p(1,1) 0.25

联合熵 H(X,Y)

2.00

比特 (bits)

💡 均匀分布时联合熵最大(2 bits)，概率集中时熵减小

🎛️ 调节条件概率

P(X=0) 0.50

P(Y=0|X=0) 0.70

P(Y=0|X=1) 0.30

条件熵 H(Y|X)

0.88

比特 (bits)

💡 条件熵 ≤ 无条件熵，已知X后Y的不确定性不会增加

🎛️ 调节联合概率表

p(0,0) 0.25

p(0,1) 0.25

p(1,0) 0.25

p(1,1) 0.25

互信息 I(X;Y)

0.00

比特 (bits)

💡 独立时互信息为0，完全相关时达到最大值

🎛️ 调节两个分布

分布 P

P(X=0) = p₁ 0.70

分布 Q

Q(X=0) = q₁ 0.30

KL散度 D(P‖Q)

0.34

比特 (bits)

💡 KL散度 ≥ 0，P=Q时为0，差异越大值越大（非对称）

深入理解

📊 信息熵 H(X)

📖 标准介绍

信息熵是随机变量不确定性的度量。对于离散随机变量X，其熵定义为H(X) = -Σ p(x)log₂p(x)，单位为比特。熵的取值范围为[0, log₂(n)]，其中n为可能取值数量。

💬 通俗介绍

想象你在猜一个谜题的答案。如果答案有8种可能且每种概率相等，你需要3个"是/否"问题才能确定答案——这就是3比特的信息量。如果某种答案几乎必然出现，你几乎不需要问问题，熵就接近0。

🔧 解决了什么问题

提供了量化"不确定性"和"信息量"的严格数学工具。香农在1948年提出，解决了通信中"需要多少比特来传输信息"这一根本问题。

⭐ 为什么重要

它是整个信息论的基石。没有熵的概念，就没有数据压缩（如ZIP、JPEG）、信道编码（如5G通信中的纠错码）、密码学的理论基础。

🌐 应用场景

数据压缩算法（Huffman编码、算术编码）、机器学习中的决策树分裂准则、统计物理中的玻尔兹曼熵、密码学中的密钥熵评估。

⚠️ 缺陷

熵只衡量"平均"不确定性，不关注具体分布形状；对极端值不敏感；在多维情况下可能忽略变量间的结构关系（需要联合熵来补充）。

📊 联合熵 H(X,Y)

📖 标准介绍

联合熵度量两个随机变量共同的不确定性。定义为H(X,Y) = -ΣΣ p(x,y)log₂p(x,y)。它是联合概率分布的函数，反映了两个变量的整体不可预测性。

💬 通俗介绍

想象你在同时猜两个谜题。如果两个谜题完全独立，你需要分别猜；如果它们有联系（猜出一个就能推知另一个），那总难度就降低了。联合熵衡量的是"同时猜两个谜题"的总难度。

🔧 解决了什么问题

解决了"两个相关系统合并后需要多少信息来描述"的问题，是通信系统中多变量编码的理论基础。

⭐ 为什么重要

联合熵是理解变量间关系的基础。它与其他熵度量（条件熵、互信息）一起构成了信息论的完整框架，在多元统计和机器学习中有重要应用。

🌐 应用场景

多传感器数据融合、联合压缩编码、多变量统计分析、通信系统中的联合信道编码。

⚠️ 缺陷

联合熵只描述总体不确定性，无法区分"变量独立导致的高熵"和"变量自身高熵导致的高熵"。需要结合边缘熵来理解。

📊 条件熵 H(Y|X)

📖 标准介绍

条件熵H(Y|X)表示在已知随机变量X的条件下，随机变量Y剩余的不确定性。定义为H(Y|X) = Σ p(x)H(Y|X=x) = H(X,Y) - H(X)。

💬 通俗介绍

如果你已经知道了某个信息（X），那么猜另一个信息（Y）的难度降低了多少？条件熵衡量的就是"知道了X之后，猜Y还需要多少努力"。

🔧 解决了什么问题

解决了"已知部分信息后，剩余不确定性如何度量"的问题，是信息推理和预测的核心概念。

⭐ 为什么重要

条件熵揭示了信息之间的依赖关系。如果H(Y|X) = 0，说明Y完全由X决定；如果H(Y|X) = H(Y)，说明X对Y没有任何信息价值。

🌐 应用场景

特征选择（选择对目标变量信息量最大的特征）、信道容量分析、贝叶斯推断、机器学习中的信息增益计算。

⚠️ 缺陷

条件熵基于平均值，可能掩盖条件分布的细节差异。当X的某些取值很少出现时，条件熵的估计可能不稳定。

📊 互信息 I(X;Y)

📖 标准介绍

互信息I(X;Y)度量两个随机变量共享的信息量。定义为I(X;Y) = H(X) + H(Y) - H(X,Y) = ΣΣ p(x,y)log₂[p(x,y)/(p(x)p(y))]。它是KL散度的一个特例。

💬 通俗介绍

如果你想知道"知道X能在多大程度上帮助预测Y"，互信息给出了精确答案。它为0表示完全独立，越大表示关联越强。

🔧 解决了什么问题

解决了"两个变量之间的关联有多强"这一根本问题。与相关系数不同，互信息能捕捉非线性关系。

⭐ 为什么重要

互信息是现代机器学习和统计学的核心工具。它在特征选择、因果推断、深度学习表征学习、生物信息学中有不可替代的地位。

🌐 应用场景

特征选择（互信息最大化）、图像配准、基因调控网络推断、自然语言处理中的词关联分析、深度学习的InfoMax原则。

⚠️ 缺陷

互信息的精确计算在高维空间中极其困难（需要估计联合分布）；对样本量敏感；无法区分"直接关联"和"间接关联"。

📊 相对熵 KL(P‖Q)

📖 标准介绍

KL散度（相对熵）度量两个概率分布之间的差异。定义为D(P‖Q) = Σ p(x)log₂[p(x)/q(x)]。它是非负的，且D(P‖Q)=0当且仅当P=Q。注意它不满足对称性。

💬 通俗介绍

假设你用Q分布来"描述"实际上遵循P分布的数据，你会浪费多少额外的信息？KL散度衡量的就是这个"浪费量"——用错误的模型来描述真实情况的代价。

🔧 解决了什么问题

提供了度量概率分布之间"距离"的方法（严格来说是"散度"而非距离），解决了模型拟合中"真实分布与模型分布差异多大"的问题。

⭐ 为什么重要

KL散度是机器学习损失函数（如交叉熵损失）的理论基础，是变分推断、贝叶斯方法、信息几何的核心概念。几乎所有生成模型的训练都在最小化某种KL散度。

🌐 应用场景

变分自编码器(VAE)、生成对抗网络(GAN)的损失函数、强化学习中的策略优化、贝叶斯模型选择、信息瓶颈方法。

⚠️ 缺陷

非对称（D(P‖Q) ≠ D(Q‖P)）；当Q在某些区域为0而P不为0时发散到无穷大；对分布的尾部差异可能过度敏感。