理论可视化 · Information Theory

信息论

Information Theory  ·  Claude E. Shannon, 1948

信息论研究「信息」本身能否被度量、压缩与可靠传输的极限。它用数学回答了三个问题： 一条消息值多少信息？、它最多能被压到多小？、信道上传得能有多快？

H(X) = −∑i p(xi) log2 p(xi)
香农熵 —— 随机变量不确定性的度量，单位：比特（bit）
01

什么是信息论

同一个事实，可以有两条进入路径：一条从严格的数学定义出发，一条从日常直觉出发。

📖 严谨定义

信息论由克劳德·香农（Claude E. Shannon）于 1948 年创立， 是用数学方法研究信息的量化、存储与传输的学科。

其核心是香农熵（Shannon Entropy）：一个随机变量不确定性的度量。 熵越大，不确定性越高，平均信息量越大。

H(X) = −∑x∈𝒳 p(x) log2 p(x)

其中 p(x) 为事件 x 发生的概率。取以 2 为底的对数时，单位为 比特（bit）。

💬 通俗理解

信息量 = 意外程度。「太阳从东边升起」你早就知道，信息量几乎为零； 「明天下雪」难以预料，信息量就大。

  • 抛硬币：正反各 50%，熵 = 1 bit（不确定性最大）
  • 必然事件：100% 发生，熵 = 0 bit（毫无意外）
  • 天气预报：可能出现的天气越多，熵越大

一句话记住：越难猜，信息越多。

六个必须掌握的公式

自信息
I(x) = −log2 p(x)

单个事件发生时携带的信息量。概率越小，惊讶越大，信息量越高。

信息熵
H(X) = −∑ p(x) log2 p(x)

自信息在概率分布上的期望，即「平均惊讶程度」，衡量整体不确定性。

联合熵
H(X,Y) = −∑∑ p(x,y) log2 p(x,y)

两个随机变量共同携带的不确定性，满足 H(X,Y) ≤ H(X) + H(Y)。

条件熵
H(X|Y) = H(X,Y) − H(Y)

已知 Y 之后，X 还剩下多少不确定性。知道得越多，条件熵越小。

互信息
I(X;Y) = H(X) − H(X|Y)

Y 为 X 提供了多少信息。它是对称的：I(X;Y) = I(Y;X) ≥ 0。

KL 散度
DKL(p‖q) = ∑ p(x) log2p(x)q(x)

衡量两个分布的「差异」，非负且不对称，是机器学习损失函数的基石。

02

公式可视化：熵函数 H(p)

把公式画成曲线，抽象的定义会立刻变得可以「看见」。下面用最经典的二元随机变量来演示。

抛一枚不均匀的硬币

设正面概率为 p、反面为 1−p，则 H(p) = −p·log2p − (1−p)·log2(1−p)。拖动滑块观察曲线上的点如何移动。

0.50
当前熵 H(p) 1.000
最大熵 1.000

p = 0.5 时熵达到最大值 1 bit —— 此时结果最难猜，信息量最大。

不同分布的熵对比

同样是 8 种可能结果，概率分布不同，熵可以相差很远。点击切换分布看看差异。

均匀分布
3.000
bit（信息熵）
最大可能熵 log₂8 = 3.000 bit

均匀分布时 8 种结果等可能，熵取到上限 3 bit；当分布越来越「偏」，可预测性上升，熵迅速下降。 这正是数据压缩的底层依据：偏斜的数据有冗余，可以被压得更小。

03

动手实验：文本信息熵计算器

输入任意一段文本，程序会统计每个字符出现的频率，并按香农熵公式计算它的平均信息量。

04

香农公式：信道能传多快

1948 年香农给出了通信史上最重要的一个公式：只要传输速率不超过信道容量 C， 就可以做到任意小的错误率；一旦超过，错误率必然失控。

C = B · log2(1 + S/N)

C 为信道容量（bit/s），B 为带宽（Hz），S/N 为信噪比（线性值）

20 kHz
20 dB
信道容量 C 1.33 Mbit/s

带宽决定「路有多宽」，信噪比决定「信号有多清楚」。 注意：C 随带宽线性增长，却只随信噪比对数增长——所以单纯加大功率的收益是递减的。

05

发展历史

从「信息能否被度量」这个看似哲学的问题，到支撑整个数字时代的数学支柱，信息论走了近一个世纪。

  1. 1928

    哈特利：信息可以被度量

    R. V. L. Hartley 提出用对数来度量信息量：N 个符号、每个有 S 种取值时，信息量为 N·log S。这是熵的前身，但它默认所有符号等概率，仍未触及「不确定性」的本质。

  2. 1948

    香农：信息论诞生

    克劳德·香农在《贝尔系统技术杂志》发表《A Mathematical Theory of Communication》（通信的数学理论），提出熵、互信息、信道容量等概念，并证明了信源编码定理与信道编码定理。这一年被认为是信息论的起点。

  3. 1949

    密码学的数学基础

    香农发表《Communication Theory of Secrecy Systems》，用信息论分析保密系统，提出「完全保密」的条件（密钥熵 ≥ 消息熵），奠定现代密码学的理论基础。

  4. 1951

    KL 散度与信息几何

    Kullback 与 Leibler 提出相对熵（KL 散度），用于衡量两个概率分布的差异。它后来成为机器学习中交叉熵损失、变分推断的核心工具。

  5. 1952

    霍夫曼编码：熵极限的第一次逼近

    David Huffman 提出霍夫曼编码，这是一种最优前缀码，其平均码长可以任意接近信源熵 H(X)。信息论第一次以工程算法的方式落地。

  6. 1977

    LZ 系列：通用压缩算法

    Lempel 与 Ziv 提出 LZ77 / LZ78 算法，无需预先知道信源统计特性即可逼近最优压缩率。今天的 ZIP、GIF、PNG 等格式都源自这一思想。

  7. 1993

    Turbo 码：逼近香农极限

    Berrou、Glavieux 与 Thitimajshima 提出 Turbo 码，首次在工程上实现了极其接近香农信道容量的纠错性能，震惊整个通信界。

  8. 2008

    极化码：真正达到信道容量

    Erdal Arıkan 提出极化码（Polar Codes），这是第一个被严格证明能达到二进制离散无记忆信道容量的构造性编码方案，已被 5G 标准采用。

  9. 2010s →

    信息论遇上深度学习

    交叉熵损失、KL 散度、互信息估计、信息瓶颈理论……信息论已经成为理解与设计神经网络的基础语言，并在大模型训练中扮演核心角色。

06

典型应用

信息论不是纯理论——你今天使用的每一个数字设备，背后都有它的影子。

🗜️ 数据压缩

熵给出了一组数据「最少需要多少比特」的理论下界。ZIP、PNG、MP3、H.264 等压缩算法都在尽力逼近这个下界。

压缩率极限 ≈ H(X)

📡 通信系统

香农公式指导了从 4G/5G 到光纤通信、深空探测的系统设计：带宽、功率与速率之间如何取舍。

C = B·log₂(1+S/N)

🔐 密码学

一次一密（One-Time Pad）的「完全保密」需要密钥熵不低于消息熵；密钥熵不足则必然存在被破译的可能。

H(K) ≥ H(M)

🤖 机器学习

分类任务常用的交叉熵损失，本质上就是在最小化预测分布与真实分布之间的 KL 散度。

L = −Σ y·log ŷ

🧬 生物信息学

用信息熵度量 DNA / 蛋白质序列的保守程度：熵越低，说明该位点在进化中越保守，往往功能越重要。

保守位点 → 低熵

🔥 统计物理

香农熵与玻尔兹曼熵在数学形式上一模一样（差一个常数）。信息与热力学熵之间的深刻联系至今仍吸引着研究者。

S = −kB Σ p ln p

07

延伸阅读

  • C. E. Shannon (1948). A Mathematical Theory of Communication. Bell System Technical Journal —— 信息论的奠基论文，篇幅不长，值得一读原文。
  • T. M. Cover & J. A. Thomas. Elements of Information Theory. —— 最经典的教科书，从熵、信道容量讲到网络信息论。
  • J. R. Pierce. An Introduction to Information Theory: Symbols, Signals and Noise. —— 面向非专业读者的入门读物，几乎没有复杂公式。
  • D. J. C. MacKay. Information Theory, Inference, and Learning Algorithms. —— 免费在线，把信息论、推断与机器学习打通的优秀教材。

本页所有数值均由浏览器实时计算，交互结果仅用于直观理解，实际工程计算请以教材公式为准。