AI 大模型的推理：理论全景与交互模拟

从「预测下一个词」到「想清楚再回答」——这一页把大模型实现推理功能所依赖的 全部核心理论（历史脉络、标准定义、关键公式、通俗解释）、 不同技术方案的横向对比，以及一个可以亲手点开的 推理模拟器放在一起。模拟器里的每一次概率计算都是真实执行的。

条件概率链式分解 交叉熵 / 困惑度 缩放点积注意力 Transformer RoPE Softmax / 温度 / Top-p KV Cache Scaling Law 思维链 CoT 自洽性 思维树 ToT ReAct PRM / ORM 测试时计算 RLVR / GRPO

目录

  1. 先厘清：大模型里的「推理」有两层含义
  2. 历史脉络：从 n-gram 到推理模型
  3. 底层理论：为什么「预测下一个词」能算出答案
  4. 推理能力的理论：如何让模型「想清楚」
  5. 方案对比：六张表看清路线分歧
  6. 交互模拟：亲手跑一遍大模型的推理

1. 先厘清：大模型里的「推理」有两层含义

中文里「推理」这个词在大模型语境下被混用了，但它其实对应两个完全不同的技术对象。 把这两层分开，后面的所有理论才能各归其位。

1.1 推断（Inference）：一次前向计算

标准介绍：Inference 指模型参数固定后，给定输入序列，执行一次（或多次）前向传播， 得到输出分布并解码出 token 的过程。它与训练（Training）相对，是模型的「使用阶段」。 工程上说的「推理优化」——KV Cache、量化、批处理、投机解码——都属于这一层。
通俗解释：模型已经「学好了」，现在只是把学到的知识用出来答题。 就像考试时你已经在脑子里想好了答案，剩下的只是把字写出来。

1.2 推理（Reasoning）：一系列中间步骤

标准介绍：Reasoning 指模型在给出最终答案前，生成一串中间推理步骤（intermediate reasoning steps），使得最终答案由这些步骤在条件上推导得出。它要求模型具备多步组合、 分解、回溯、验证的能力。
通俗解释：不是脱口而出「等于 10」，而是先在草稿纸上写「24÷3=8，24−8=16，16÷2=8，所以还剩 8 个」， 再给答案。草稿纸就是推理链。
关键关系：Inference 是机制，Reasoning 是这种机制在长序列上涌现出的行为。 没有自回归推断，就没有推理链；而推理链之所以有效，恰恰是因为每一个生成的中间 token 都变成了下一步的条件上下文——这就是下一节要展开的全部内容。

2. 历史脉络：从 n-gram 到推理模型

1950

图灵测试提出：机器能否表现出与人类无法区分的智能行为。这是「机器推理」问题的起点。

1957

感知机（Perceptron）：Rosenblatt 提出可学习的线性分类器，第一次让「从数据中学参数」成为可能。

1986

反向传播被系统化（Rumelhart、Hinton、Williams）：多层网络的梯度可以被高效计算，深度学习的地基出现。

1990s

统计语言模型：n-gram + 平滑 + 困惑度成为主流。IBM 的统计机器翻译把「概率化语言建模」推向工程化。

2003

神经语言模型（Bengio 等）：用词向量 + 前馈网络预测下一个词，首次摆脱 n-gram 的稀疏性问题。

2013

word2vec：词的分布式表示普及，语义可以「算」出来。

2014

Seq2Seq + 注意力雏形（Bahdanau 等）：编码器-解码器结构配注意力对齐，翻译质量跃升。

2017

Transformer（Vaswani 等，《Attention Is All You Need》）：完全用注意力替代循环， 序列计算可并行化。这是今天所有大模型的骨架。

2018

GPT-1 / BERT：「预训练 + 微调」范式确立。生成式与理解式两条路线分叉。

2019

GPT-2：15 亿参数，零样本能力初现，「大模型」这个词开始流行。

2020

GPT-3（1750 亿参数）+ Scaling Laws（Kaplan 等）： 发现模型能力随参数量、数据量、算力呈幂律提升，且提出「上下文学习（In-Context Learning）」。

2021

指令微调（FLAN）：让模型「听懂人话」，是后续一切推理能力对齐的前提。

2022

思维链 CoT（Wei 等，1 月）：只要在示例里写推理步骤，模型就能学会分步推理。 自洽性 Self-Consistency（Wang 等，3 月）：多条推理链投票。 零样本 CoT（Kojima 等，5 月）：只需一句 "Let's think step by step"。 ReAct（Yao 等，10 月）：推理与工具调用交替。 InstructGPT / ChatGPT（11 月）：RLHF 让对齐后的推理可用。

2023

GPT-4、思维树 ToT（Yao 等，5 月）、思维图 GoT、Least-to-Most、 PAL / PoT（把计算交给代码解释器）、Reflexion（自我反思）、 过程奖励模型 PRM（Lightman 等）。开源侧 LLaMA / Mistral / MoE 架构普及。

2024

o1（9 月）：把「测试时计算扩展」做成产品——用强化学习训练模型生成长思维链， 推理时用更多算力换更高准确率。Qwen2.5 / Llama 3.1 等开源模型全面跟进长上下文。

2025

DeepSeek-R1（1 月）：用 GRPO + 可验证奖励（RLVR） 纯强化学习激发推理能力， 并将推理链蒸馏进小模型，证明「推理能力可以被压缩」。扩散式语言模型（LLaDA、d1）探索非自回归路线。

2026

推理模型成为标配；研究重心转向推理效率（长度控制、自适应思考）、 可验证奖励的扩展、多模态推理与智能体长程规划。

3. 底层理论：为什么「预测下一个词」能算出答案

3.1 语言模型 = 条件概率的链式分解

标准介绍：语言模型的目标是建模一个 token 序列的联合概率分布。 由概率论中的乘法公式（链式法则），任意联合分布都可分解为条件概率的乘积：
$$P(x_1,x_2,\dots,x_T)=\prod_{t=1}^{T}P\bigl(x_t \mid x_1,\dots,x_{t-1}\bigr) =\prod_{t=1}^{T}P\bigl(x_t \mid x_{
通俗解释：一句话的概率 = 每个字在它前面所有字都确定之后出现的概率，连乘起来。 所以只要模型会算「下一个字是什么」，它就会算整句话。这就是自回归（Autoregressive）。

注意这个分解是恒等的，没有做任何近似——它不限制模型能力，只规定了计算顺序。 大模型「一次只吐一个字」不是因为能力不够，而是因为这是唯一一种把 $T$ 个 token 的联合分布 拆成 $T$ 个可控小问题的精确方式。

3.2 交叉熵与困惑度：训练目标从哪来

标准介绍：训练语言模型等价于最大化训练语料的对数似然，等价于最小化模型分布与真实分布之间的交叉熵：
$$\mathcal{L}(\theta)=-\frac{1}{N}\sum_{t=1}^{N}\log p_\theta\bigl(x_t\mid x_{

困惑度（Perplexity）是交叉熵的指数形式，可解释为「模型平均在多少个词之间犹豫」：

$$\mathrm{PPL}=\exp\!\left(-\frac{1}{N}\sum_{t=1}^{N}\log p_\theta\bigl(x_t\mid x_{
通俗解释：交叉熵就是「模型给正确答案打了多少分」的惩罚——打的概率越低，罚得越狠。 困惑度则是把它翻译成人话：困惑度 = 100 表示模型每步相当于在 100 个候选词里瞎猜。

3.3 为什么神经网络能拟合这个函数

标准介绍：通用逼近定理（Universal Approximation Theorem）指出，一个含足够多隐藏单元的前馈网络， 可以在紧集上以任意精度逼近任意连续函数。深度网络则以层数换取指数级的表达能力提升。
通俗解释：理论上，只要网络够大、数据够多，它就能把「下一个词的概率」这个极其复杂的函数 近似到任意精度。这是整套方法的理论底气。

⚠️ 补充：通用逼近定理只保证「存在」这样的网络，不保证梯度下降能找到它，也不保证泛化。 实践中之所以能 work，靠的是过参数化 + 海量数据 + 良好优化的经验组合，而非定理本身。

3.4 缩放点积注意力：Transformer 的心脏

标准介绍：注意力把每个位置表示成 Query、Key、Value 三元组， 用 Query 与所有 Key 的相似度决定「看谁」，再加权聚合 Value：
$$\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V$$

其中 $\sqrt{d_k}$ 是缩放因子：当维度很高时点积方差随 $d_k$ 增长，softmax 会进入饱和区、梯度消失，除以 $\sqrt{d_k}$ 把方差拉回 1。

多头注意力让模型在不同子空间并行关注不同关系：

$$\mathrm{MultiHead}(X)=\mathrm{Concat}(\mathrm{head}_1,\dots,\mathrm{head}_h)\,W^{O},\qquad \mathrm{head}_i=\mathrm{Attention}(XW_i^{Q},XW_i^{K},XW_i^{V})$$
通俗解释：读「小明把苹果给了小红，因为她很饿」时，你的大脑会自动把「她」连到「小红」。 注意力就是让模型自动学会这种连线：每个词发出一个「我在找什么」（Query）， 每个词贴一个「我是什么」（Key），匹配度高的就多吸收它的信息（Value）。 多头 = 同时用好几套标准去连线（语法、指代、因果……）。

因果掩码（Causal Mask）保证第 $t$ 个位置只能看到 $\le t$ 的位置， 这是自回归生成不「偷看未来」的技术保证：

$$M_{ij}=\begin{cases}0 & j\le i\\ -\infty & j>i\end{cases} \qquad \mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d_k}}+M\right)$$

3.5 Transformer 块：残差 + 归一化 + 前馈

标准介绍：一个 Transformer 层由注意力子层和前馈子层组成， 现代实现采用 Pre-LayerNorm 结构：
$$x \leftarrow x + \mathrm{Attn}\bigl(\mathrm{LN}(x)\bigr),\qquad x \leftarrow x + \mathrm{FFN}\bigl(\mathrm{LN}(x)\bigr)$$
$$\mathrm{FFN}(x)=W_2\,\sigma(W_1x+b_1)+b_2$$
通俗解释：注意力负责「在词之间搬运信息」，前馈网络负责「对每个词做深度加工」， 残差连接保证深层网络也能顺利训练，LayerNorm 保证数值稳定。 一层就是一轮「交流 + 思考」，堆几十层就是反复交流、反复思考。

一个广为接受的直觉解释：FFN 的记忆容量与参数量正相关，注意力负责检索，FFN 负责存储知识。 这也解释了为什么 MoE（混合专家）主要替换 FFN 层——它就是在扩大「知识库」而不显著增加计算量。

3.6 位置编码：没有它，Transformer 分不清语序

标准介绍：注意力本身对输入是置换不变的，必须显式注入位置信息。 最早用正弦位置编码：$PE_{(pos,2i)}=\sin(pos/10000^{2i/d})$，$PE_{(pos,2i+1)}=\cos(pos/10000^{2i/d})$。 现代主流是 RoPE（旋转位置编码）：把 Query 和 Key 按位置旋转一个角度， 使得内积只依赖相对距离。
$$\langle R_{\Theta,m}\,q,\; R_{\Theta,n}\,k\rangle = g(q,k,\;m-n)$$
通俗解释：把每个词的位置信息「转」进它的向量里，两个词一比较， 模型自然就知道它们隔了多远。RoPE 的好处是：训练时见过 4K 长度， 推理时外推到 128K 也不会太崩。

其他方案：ALiBi（在注意力分数上按距离线性惩罚）、可学习绝对位置嵌入（早期 GPT/BERT 用，外推能力差）。

3.7 从 logits 到 token：解码策略

标准介绍：最后一层线性投影给出词表上的 logits $z$， 经温度缩放的 softmax 得到概率分布，再由解码策略选出 token：
$$p_i=\frac{\exp(z_i/T)}{\sum_{j=1}^{V}\exp(z_j/T)}$$

常见策略：

  • 贪心（Greedy）：$x_t=\arg\max_i p_i$。确定、可复现，但容易重复、缺乏多样性。
  • 束搜索（Beam Search）：保留 $k$ 条最优前缀，按长度归一化分数排序： $\text{score}(y)=\frac{1}{|y|^{\alpha}}\sum_t \log p(y_t\mid x,y_{
  • Top-k 采样：只在概率最高的 $k$ 个候选里采样。
  • Top-p（核采样）：取累积概率达到 $p$ 的最小候选集合再采样。候选集大小自适应。
  • 温度：$T<1$ 分布更尖锐（更确定），$T>1$ 更平坦（更随机），$T\to 0$ 退化为贪心。
通俗解释：模型给出的是一张「候选词排行榜 + 分数」。贪心就是永远选第一名； 采样就是按分数抓阄；温度控制你「敢不敢冒险」； Top-p 就是「先划一条线，只在这条线以上的词里抓阄，线以下的直接不谈」。

3.8 KV Cache：让推理变快的工程理论

标准介绍：自回归生成第 $t$ 个 token 时，前面所有 token 的 Key/Value 矩阵不变。 把它们缓存下来，可把每步注意力计算从 $O(t^2 d)$ 降为 $O(t\,d)$。 代价是显存占用随序列长度线性增长：$2 \times L \times H \times d \times t \times \text{bytes}$。
通俗解释：每次写新字不用把前面读过的内容重新读一遍，只把「读书笔记」（K/V）存着继续用。 代价是笔记越记越厚，显存吃不消——所以有了 PagedAttention、GQA/MQA、量化 KV 等一系列优化。

3.9 缩放定律：为什么「更大」就是「更聪明」

标准介绍：Kaplan 等（2020）发现测试损失与参数量 $N$、数据量 $D$ 呈幂律关系：
$$L(N,D)\approx \frac{A}{N^{\alpha}}+\frac{B}{D^{\beta}}+L_{\infty}$$

Chinchilla（Hoffmann 等，2022）进一步给出最优配比：在给定算力预算下，参数与训练 token 数应大致满足 $N_{\text{opt}}\approx 20\,D$。

通俗解释：模型越大、喂的数据越多，能力就越好，而且这个提升是可以预测的—— 所以公司才敢花几十亿先造模型再验证。Chinchilla 的贡献是告诉大家： 别光顾着堆参数，数据也得跟上，否则就是「大而饿」。

重要 缩放定律描述的是损失的下降，而推理能力并非平滑涌现—— 在某个规模阈值上，CoT 这类能力会「突然」出现，这就是所谓的 emergent ability（涌现能力）。 不过近年也有研究质疑涌现现象部分是评价指标不连续造成的假象。

4. 推理能力的理论：如何让模型「想清楚」

4.1 思维链 Chain-of-Thought（CoT）

标准介绍：Wei 等（2022）提出：在少样本示例中不仅给出「问题→答案」， 还给出中间的推理步骤，模型便会模仿生成推理链，显著提升数学、常识、符号推理任务的准确率。 其形式化描述是：把 $P(y\mid x)$ 的建模改为对 $P(z_1,\dots,z_k,y\mid x)$ 的自回归分解， 其中 $z_i$ 是中间推理步骤。
$$P(y\mid x)=\sum_{z}P(y\mid x,z)\,P(z\mid x) \;\approx\; P\bigl(y\mid x, z^*\bigr),\quad z^*\sim P(z\mid x)$$
通俗解释：让模型「把草稿写在卷面上」。写出来的每一步都变成下一步的条件， 相当于把一个大难题拆成一串小问题，每一步都只做一次简单的「下一个词预测」。

为什么有效？三重机制：

  1. 计算深度：每个生成的 token 都会经过一次完整的前向传播，等于增加了模型的串行计算步数。
  2. 条件化：中间结果被写进上下文，后续步骤不必从原始问题重新推导，降低了单步难度。
  3. 训练分布对齐：预训练语料中的解题文本本身带步骤，CoT 唤醒了这部分分布。

零样本 CoT（Kojima 等，2022）：不加示例，只追加一句 Let's think step by step. 就能大幅提升推理准确率。

4.2 自洽性 Self-Consistency

标准介绍：Wang 等（2022）提出：用温度采样生成多条不同的推理链， 对最终答案做多数投票（marginalize over reasoning paths）：
$$\hat{y}=\arg\max_{y}\sum_{i=1}^{K}\mathbb{1}\bigl[y_i=y\bigr], \qquad (z_i,y_i)\sim p_\theta(\cdot\mid x)$$
通俗解释：同一道题让模型做 20 遍（每次略有随机性），最后看哪个答案出现次数最多。 错了的路径往往各不相同，对的路径容易撞车——所以投票有效。

代价：推理成本线性增长 $K$ 倍。这是「测试时计算换准确率」的第一个实用化范例。

4.3 思维树 Tree of Thoughts（ToT）与思维图 GoT

标准介绍：Yao 等（2023）把推理链从线性推广为树：每步生成多个候选思维， 用价值函数（可由模型自己打分）评估，配合 BFS/DFS 搜索，支持前瞻与回溯。 形式化为对思维节点 $s$ 的搜索问题：$\max_{\text{path}}\prod P(s_{i+1}\mid s_{\le i})\cdot V(s)$。
通俗解释：不是一条路走到黑，而是「想到几个方案 → 评估哪个靠谱 → 沿最好的继续想 → 发现不行就回头换一条」。 这就是人类下棋、做规划时的思考方式。

思维图 GoT（Besta 等，2023）进一步允许思维节点合并、循环， 形成有向图，适合需要「汇总多个中间结论」的任务。

4.4 ReAct：推理与行动交替

标准介绍：Yao 等（2022）提出在同一个自回归序列里交替生成 Thought（推理）、Action（工具调用）、Observation（环境返回）。 推理轨迹用于规划，动作用于获取外部信息，观察结果回填上下文。
通俗解释：不是闭着眼睛硬想，而是「我想到了要查一下今天天气 → 我去查 → 看到结果 → 根据结果继续想」。 把模型从「只有脑子」变成「有手有眼」。

这是当前 Agent（智能体）范式的理论基石。

4.5 分解式提示：Least-to-Most 与程序辅助

  • Least-to-Most Prompting（Zhou 等，2022）：先把复杂问题分解成子问题序列， 再依次求解，每个子问题的答案作为下一个子问题的输入。
  • PAL / PoT（Gao 等 2022；Chen 等 2022）：让模型生成可执行的 Python 代码， 把算术、符号运算交给解释器，模型只负责「翻译」和「规划」。
通俗解释：Least-to-Most 是「大问题拆小问题，一个个来」； PAL 是「别自己心算，把式子写出来让计算器算」——因为模型的强项是理解与转化，不是精确计算。

4.6 自我精炼与反思

  • Self-Refine（Madaan 等，2023）：生成 → 自我批评 → 修订，循环迭代。
  • Reflexion（Shinn 等，2023）：把失败经验写成语言化的「反思记忆」，在下一次尝试时读入上下文。
通俗解释：做完题自己检查一遍，发现错在哪，改一版。做错了就把教训记在小本本上，下次别忘了。

4.7 奖励模型：ORM vs PRM

标准介绍： ORM（Outcome Reward Model）只对最终答案打分： $\mathcal{L}_{\text{ORM}}=-\log\sigma\bigl(r_\phi(x,y^{+})-r_\phi(x,y^{-})\bigr)$。 PRM（Process Reward Model）对推理链的每一步打分， Lightman 等（2023）的 Let's Verify Step by Step 证明 PRM 在数学推理上显著优于 ORM。
通俗解释：ORM 只看最后对没对，PRM 是「过程分」——老师不光看你答案， 还看你每一步推导对不对。过程分的好处是：即使最后答案错了，也能知道是哪一步走歪了。

核心对比：

维度ORM（结果奖励）PRM（过程奖励）
监督信号来源最终答案对错，自动可判每一步的正确性标注
标注成本低（自动）高（人工或蒙特卡洛估计）
信用分配差：所有步骤共享一个分数好：错误可定位到具体步骤
是否易被 hack是：答案对但推理错也能得高分较低
典型用途偏好对齐、Best-of-N 重排序树搜索引导、过程强化学习

4.8 测试时计算扩展（Test-Time Compute Scaling）

标准介绍：在推理阶段投入更多计算以换取更高准确率。主要形式包括： Best-of-N 采样 + 验证器重排序、自洽性投票、束搜索、蒙特卡洛树搜索（MCTS）、 以及生成更长的思维链。 经验规律：测试时计算带来的准确率提升，在某些任务上可与把模型放大若干倍相当。
通俗解释：「想久一点」比「脑子更大」有时更划算。考试时多花十分钟检查， 可能比换个天才脑袋还管用——尤其是在已经有靠谱检查方法的时候。

关键前提：必须有可靠的验证器（verifier）。数学、代码这类任务答案可自动验证，因此测试时扩展收益最大。

4.9 强化学习激发推理：RLHF / PPO / GRPO / RLVR

标准介绍：
  • RLHF（基于人类反馈的强化学习）：用人类偏好数据训练奖励模型，再用 RL 优化策略。 经典算法是 PPO，其裁剪目标为：
    $$L^{\text{CLIP}}(\theta)=\mathbb{E}_t\Bigl[\min\bigl(r_t(\theta)\hat{A}_t,\; \mathrm{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat{A}_t\bigr)\Bigr],\quad r_t(\theta)=\frac{\pi_\theta(a_t\mid s_t)}{\pi_{\theta_{\text{old}}}(a_t\mid s_t)}$$
  • DPO（直接偏好优化）：跳过奖励模型，直接在偏好数据上优化：
    $$\mathcal{L}_{\text{DPO}}=-\mathbb{E}\Bigl[\log\sigma\Bigl(\beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)} -\beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\Bigr)\Bigr]$$
  • RLVR（可验证奖励的强化学习）：奖励不用人类标注，而由规则自动判定 （数学答案是否相等、代码是否通过单元测试）。DeepSeek-R1 证明仅靠 RLVR 就能让基座模型自发涌现出长链推理、自我检查、回溯等行为。
  • GRPO（Group Relative Policy Optimization）：去掉 PPO 中的价值网络（critic）， 对同一问题采样一组输出，用组内归一化得分作为优势：
    $$\hat{A}_i=\frac{r_i-\mathrm{mean}(r_1,\dots,r_G)}{\mathrm{std}(r_1,\dots,r_G)}$$ $$\mathcal{J}_{\text{GRPO}}(\theta)=\mathbb{E}\Bigl[\frac{1}{G}\sum_{i=1}^{G} \min\Bigl(\rho_i\hat{A}_i,\;\mathrm{clip}(\rho_i,1-\epsilon,1+\epsilon)\hat{A}_i\Bigr) -\beta\,D_{\text{KL}}\bigl(\pi_\theta\,\|\,\pi_{\text{ref}}\bigr)\Bigr]$$

    好处：省掉与策略同规模的价值网络，显存和计算开销大幅降低。

通俗解释：不告诉模型「标准答案是什么」，只告诉它「这道题你做对了 / 做错了」， 让它自己摸索出「怎样才能做对」——摸出来的答案往往就是一串很长的推理步骤。 GRPO 的巧思是：同一道题让模型答 16 遍，比一比谁好谁差，好的加分差的减分， 不需要再单独训练一个「打分器」。

4.10 推理蒸馏：把大模型的思考能力塞进小模型

标准介绍：用强推理模型（如 R1）生成大量带推理链的样本， 对小模型做监督微调（SFT），使其在无 RL 的情况下获得推理能力。 DeepSeek-R1-Distill 系列证明这条路径有效，且比直接对小模型做 RL 更稳定。
通俗解释：把学霸的解题过程抄下来反复练，练多了自己也会了。 虽然原理上不如自己悟出来深刻，但性价比极高。

5. 方案对比：六张表看清路线分歧

表 1：推理机制 —— 自回归 vs 扩散式

维度自回归解码（主流）扩散式并行解码（新兴）
生成方式从左到右，一次生成一个 token从噪声出发，多轮去噪，一次修改多个位置
概率建模精确链式分解 $P(x)=\prod P(x_t\mid x_{近似：学习去噪分布 $p_\theta(x^{(t-1)}\mid x^{(t)})$
代表工作GPT / Llama / Qwen / DeepSeekLLaDA、d1、Gemini Diffusion
优势成熟、可控、KV Cache 高效、生态完备并行生成、双向上下文、可「编辑式」修改
劣势串行，长链推理延迟高训练难、步数敏感、长文本一致性待验证
当前地位绝对主流研究前沿，尚未大规模替代

表 2：解码策略对比

策略规则优点缺点适用场景
贪心$\arg\max p_i$确定、快、可复现重复、缺乏多样性事实问答、代码补全
束搜索保留 top-k 前缀整体序列概率高计算 ×k，输出平淡翻译、摘要
温度采样$p_i \propto e^{z_i/T}$多样、可控可能跑偏创作、多解问题
Top-k前 k 个中采样简单有效k 固定不自适应通用对话
Top-p累积概率 ≥ p 的最小集候选集自适应概率分布尖锐时仍可能过窄通用对话、推理
Best-of-N + 验证器采样 N 条再重排序准确率显著提升成本 ×N，依赖验证器数学、代码

表 3：让模型学会推理的四条路径

路径核心做法训练成本效果局限
纯提示
Zero-shot CoT		 在 prompt 里加 "Let's think step by step" 零 中等，依赖基座能力 能力上限受基座限制；长链容易崩
少样本示例
Few-shot CoT		 给几个带推理步骤的示例 零 较好 占上下文；示例质量敏感
监督微调 / 蒸馏
SFT / Distill		 用强模型生成的推理链做 SFT 中 好，稳定可控 上限受教师模型限制；易学表面格式
强化学习
RLVR / GRPO		 用可验证奖励直接优化策略 高（算力密集） 最强，能涌现回溯、自检等行为 只适用于可验证任务；训练不稳定

表 4：推理结构对比

结构推理形态搜索能力计算成本典型场景
线性 CoT一条链走到底无回溯×1常规数学、逻辑题
自洽性K 条独立链投票无，但容错×K有唯一答案的任务
思维树 ToT树形扩展 + 评估 + 回溯强（BFS/DFS）×K×深度规划、谜题、写作提纲
思维图 GoT图结构，支持合并与循环最强最高需要多路信息汇总的任务
MCTS + PRM蒙特卡洛树搜索 + 过程奖励引导强，样本效率高高数学证明、代码搜索
ReAct推理与工具调用交替依赖外部反馈取决于工具调用次数检索问答、智能体任务

表 5：显式推理 vs 隐式推理

维度显式 CoT（输出自然语言步骤）隐式推理（潜空间推理）
推理载体可见的 token 序列连续的隐状态向量
代表工作CoT、ToT、o1/R1 长思维链Coconut（连续思维链）、隐式 CoT
可解释性高，可审计、可人工干预低，是「黑盒思考」
效率低：每个思考步都要过一次前向高：一步隐状态可承载多个推理步
可训练性成熟仍在探索，训练信号难设计
当前应用几乎所有推理模型研究阶段

表 6：训练时扩展 vs 测试时扩展

维度训练时扩展（Train-time Scaling）测试时扩展（Test-time Scaling）
做法增大模型、增加数据、延长训练增加推理时的采样数 / 思考长度 / 搜索
成本发生点一次性，前置于部署每次请求都发生，随用量线性增长
收益曲线幂律，边际递减但稳定先快后慢，且存在「过度思考反而变差」的拐点
依赖条件算力、数据可靠的验证器 / 奖励模型
典型代表GPT-4、Llama 3 405Bo1、R1、自洽性、Best-of-N
适用性通用能力提升难题（数学、代码、规划）收益最大
一句话总结路线分歧：「更大」解决的是广度（知识、语言、常识）， 「更久」解决的是深度（多步推导、验证、纠错）。 当前前沿的共识是：两者不可偏废，而「更久」的关键瓶颈在于验证器是否可靠。

6. 交互模拟：亲手跑一遍大模型的推理

下面这个模拟器演示的是推理最底层的机制：自回归解码 + 注意力聚合 + Softmax 采样。 每一步的 softmax 概率都是真实计算的，不是预先写死的数字。

题目：「小明有 3 个苹果，又买了 2 个，一共有几个？」 模型将要生成的答案是 5 个 。，分三步完成。

① 上下文序列（模型此刻能看到的全部 token）

紫色 = 原始提示词，绿色 = 模型已经生成的内容。 高亮深浅代表当前这一步的注意力权重。

② 注意力：这一步在「看」哪里

权重由 $\mathrm{softmax}(QK^\top/\sqrt{d_k})$ 产生（此处为示意数值）。 注意力决定了哪些历史信息会被聚合进当前表示。

③ 输出层：logits → 概率分布

等待开始…

④ 已生成的输出

（还没生成任何 token）

这个输出会被追加回上下文，成为下一步预测的条件——这就是自回归的核心回路。

点击「下一步」开始。你会看到模型如何一步步把「3 + 2」聚合成「5」。

6.1 这个模拟器揭示的三条推理逻辑

  1. 推理 = 条件概率的逐步分解。 模型从来不会「一眼看出答案」。它在第 1 步只做一件事： 在上下文为「小明有3个苹果，又买了2个，一共有几个？」时，预测下一个 token 的分布， 并从中取出「5」。第 2 步的输入包含了「5」，第 3 步的输入包含「5 个」。 答案是一步步被「拼」出来的。
  2. 注意力 = 信息路由。 生成「5」时，注意力权重集中在「3」「2」「一共」这几个位置上。 这不是巧合：模型必须把两个数字从长上下文里「取出来」放到一起， 才能让后面的 FFN 计算出它们的和。注意力负责「找」，FFN 负责「算」。
  3. 温度 = 探索与利用的旋钮。 把 T 调到 0.1，「5」的概率会逼近 100%，输出完全确定； 调到 2.0，分布被抹平，模型可能选中「6」或「7」——这就是幻觉的来源之一。 推理任务通常用低温，创作任务用高温。

6.2 从「一步推理」到「思维链推理」

上面的例子只有一个推理步。当问题变难时会发生什么？考虑： 「一个商店有 24 个苹果，上午卖掉 1/3，下午卖掉剩下的 1/2，还剩多少个？」

✗ 直接回答（无 CoT）

  • 模型必须在单次前向传播里完成全部分解、计算、合并
  • 相当于要求一个人「心算三步并且不许写草稿」
  • 中间结果无处存放，无法复查
  • 结果：容易答成 24×(1−1/3−1/2)=4 这类错误

✓ 思维链回答（CoT）

  • 「上午卖掉：24 × 1/3 = 8 个」——第 1 次前向
  • 「剩下：24 − 8 = 16 个」——第 2 次前向，条件包含上一步
  • 「下午卖掉：16 × 1/2 = 8 个」——第 3 次前向
  • 「最后剩下：16 − 8 = 8 个」——第 4 次前向

本质上，CoT 把「一次困难的前向计算」换成了「多次简单的前向计算 + 中间结果的显式存储」。 每一行草稿都是一个 token，都经过一次完整的 Transformer 前向传播—— 等于把模型的有效计算深度从固定的 $L$ 层扩展到了 $L \times$ 推理步数。

这也解释了为什么「测试时计算扩展」有效： 多生成一步草稿，就多一次前向传播的机会，就多一层可用的计算深度。 代价是延迟和算力，收益是多步推理的准确率。

最终统一图景：
自回归分解提供了「一次算一步」的机制 → 注意力负责在历史中检索相关信息 → FFN负责对信息做非线性变换 → Softmax 解码决定输出哪个 token → 输出的 token 回填上下文，形成回路 → 当这个回路被训练成「先写推理步骤再写答案」时， 就得到了 思维链 → 再用可验证奖励做强化学习， 模型就会自发学会回溯、验证、分解——这就是今天推理模型背后的完整逻辑链。

说明：本页模拟器为教学目的做了必要的简化—— 注意力权重与 logits 为示意数值，但 softmax、温度缩放、概率采样的计算过程完全真实。 真实的 LLM 有数千维隐状态、数十层堆叠、上万个词表条目， 但其核心回路与这里演示的完全一致。