读前提示： 这篇文章梳理了 2025-2026 年间围绕知识蒸馏——特别是 On-Policy Self-Distillation（OPSD, ICML 2026）——的十余篇代表性工作。OPSD 自 2026 年初发表以来迅速成为推理模型训练的焦点范式，2-7 月间密集涌现了一批改进工作。它们共同回答一个问题：让小模型从大模型身上学东西，边界在哪，陷阱在哪，怎么绕过去？如果你做过模型蒸馏并困惑于”为什么有时效果很好有时很差”，或者你在跟进推理模型训练的最新进展，这篇文章应该能帮你建立一张清晰的全景图。
蒸馏到底划不划算：一个老问题的新答案
知识蒸馏的想法很朴素：大模型的 soft label 比 one-hot label 包含更多信息，小模型从中学习应该更高效。这个想法从 Hinton 2015 年提出至今已有十年，但一个令人尴尬的事实始终存在——文献中关于蒸馏是否优于监督学习的结论是相互矛盾的。 有些工作声称蒸馏在各种设置下都更好，另一些工作则发现它在某些条件下反而更差。缺乏统一的解释框架，使得实践者很难判断”我的场景该不该用蒸馏”。 Apple 的 Distillation Scaling Laws（ICML 2025）试图终结这种混乱。他们在 C4 数据集上系统性地扫描了不同规模的教师-学生组合，拟合出经验缩放定律，得到了几个干净的结论。 第一个结论是关于教师能力的度量。直觉上，我们会用”教师有多少参数”或”教师训练了多少 token”来衡量教师的强弱。但实验表明，教师对学生效果的影响完全可以用教师自身的交叉熵损失 L_T 来概括——参数量和训练 token 数只是通过影响 L_T 间接起作用。这意味着一个 1B 参数训练了 1T token 的教师，和一个 7B 参数训练了 100B token 的教师，如果它们的 L_T 相同，对同一个学生的蒸馏效果就是一样的。这大大简化了教师选择的决策空间。 第二个结论更加根本：蒸馏只加速收敛，不改变学生的能力上限。 学生最终能达到的最优损失由其自身参数量决定，蒸馏只是让它更快到达那个点。当训练计算足够充裕时，监督学习总会追上甚至超过蒸馏。蒸馏的优势仅存在于”计算预算有限”的 regime 下。 这解释了文献中的矛盾：那些报告蒸馏更优的实验，其实是在低计算 regime 下做的；那些报告蒸馏更差的实验，往往给了足够的计算让监督学习充分收敛。不是蒸馏本身好或坏，而是它的优势区间是有限的。 第三个结论关于最优教师选择。直觉告诉我们教师越强越好，但实验显示存在一个”容量间隙”——当教师的有效假设空间复杂度远超学生的学习能力范围时，蒸馏效率反而下降。最优教师的规模先随学生增大而增大，然后到达平台。而且，与其用一个巨大的教师（推理成本高），不如用一个较小但过训练的教师（同样的 L_T，更低的推理成本）。 最后一个常被忽视的结论：从零训练一个教师，只蒸馏一个学生，永远不如直接做监督学习。 信息论上，教师是从同样的数据中学来的，它不可能凭空创造出比原始数据更多的有用信息。蒸馏只在教师已经存在（沉没成本）或者一个教师服务多个学生（摊薄成本）时才划算。
容量间隙不止是”教师太大”
Distillation Scaling Laws 把容量间隙归结为 L_T 过低（教师太强），但这只是一个宏观描述。Small Models Struggle to Learn from Strong Reasoners（ACL 2025 Findings）对这个问题做了更细致的拆解。 他们发现小模型（≤3B）在学习大模型的长 Chain-of-Thought 推理时，性能不升反降。乍看这很反直觉——更详细的推理步骤不应该提供更多学习信号吗？但仔细分析学生生成的文本后发现，小模型学到的不是推理逻辑，而是推理的表面形式。它们模仿了”Let me think step by step”、”But wait”这类连接词的使用模式，却没有学会这些连接词之间应该发生的实质性推理步骤。 这揭示了容量间隙的一个重要维度：教师的”能力水平”和”表达复杂度”是两个独立的轴。 Distillation Scaling Laws 把它们合并成了一个标量 L_T，但对于推理蒸馏来说，区分这两个维度很重要。一个能力强但表达简洁的教师，可能比一个能力同样强但表达冗长的教师更适合小学生。 实验给出了一个清晰的阈值：大约在 3B-7B 参数量之间存在一个拐点。小于 3B 的模型应该用短 CoT 和能力匹配的教师；大于 7B 的模型才能从长推理链中获益。而一个简单有效的折中方案是混合训练——用 20% 来自强教师的难数据保持上限牵引，80% 来自适配教师的数据保证稳定学习。 一个有趣的附带发现是：数学专家模型（如 Llemma）的容量间隙比通用模型更小。推测原因是专家模型已经具备了基础的数学推理模式，只需要”精细化”而非”从零学起”。这和后面 DemoPSD 的观察形成了呼应。
分布错位：on-policy 蒸馏的承诺与现实
传统蒸馏是 off-policy 的：教师生成训练数据，学生在上面学习。但学生推理时生成的分布和训练数据的分布不同——这种 train-test mismatch 在自回归生成中尤其严重，因为每一步的错误都会累积。 On-policy 蒸馏的想法是让学生自己生成序列，然后用教师的分布作为学习目标。理论上这消除了分布错位，但实践中有一个致命问题：训练早期学生太弱，生成的序列质量很差，教师在这些低质量序列上给出的反馈噪声大、信息量低。 这往往导致训练早期崩溃。 Speculative Knowledge Distillation（ICLR 2025）提出了一个巧妙的折中。它借鉴了推理加速中”投机解码”的思路：学生先逐 token 生成，教师逐 token 验证——如果学生的 token 在教师 Top-K 分布内就保留，否则由教师替换。最终形成一个混合序列，既保持了 on-policy 的特性（序列起点来自学生），又避免了学生完全失控时的崩溃（教师适时接管）。 这个方法的精髓在于自适应性：学生做得好的地方（教师验证通过），训练信号来自学生自身分布；学生做得差的地方（教师拒绝并替换），训练信号来自教师。随着训练进行，学生越来越强，教师接管的比例自然下降。实验证实了这种渐进过渡优于”前半段纯教师、后半段纯学生”的两阶段硬切换，也优于固定比例的混合。 但 SKD 有一个显著的代价：每个 token 都需要教师做一次验证前向传播，计算成本接近全量 on-policy 蒸馏。它更适合”教师已经部署好、推理成本不是瓶颈”的场景。
OPSD：推理模型训练的主力范式及其隐患
到这里，我们讨论的还是比较通用的蒸馏框架。接下来进入本文的核心主题：On-Policy Self-Distillation（OPSD, ICML 2026），这是 2026 年推理模型训练中最热门的范式。 OPSD 的设置是这样的：学生模型对一个问题进行 rollout（生成完整的推理过程和答案），然后教师在看到正确答案的条件下，对学生的推理过程给出 token 级的概率指导。学生据此更新参数，然后重新 rollout，循环往复。 “教师看到答案”是关键——这给了教师一种”上帝视角”，使它能提供比盲目生成更精准的指导。但这也引入了一个根本性的问题：教师利用了学生在推理时不可能获得的信息。 学生在推理时看不到答案，但训练时却在学习一个”看过答案的教师”的行为模式。 这种信息不对称导致的后果，多个独立团队都观察到了相同的症状：
- 训练曲线先升后降——早期学生快速进步（教师信号中确实包含有用推理指导），但后期性能退化（学生开始过拟合教师从答案中反推出的捷径）
- 需要早停——但最优停止点很难确定，且因任务和模型而异
- 认知 token 频率剧烈波动——”wait”、”hmm”、”let me reconsider”这类表征深度思考的 token 时多时少，说明学生在模仿思考的形式而非实质 这个问题的本质是：教师的 soft label 中混杂了两种信号——来自问题本身的推理指导（有用的）和来自答案的反推捷径（有害的）。学生无法区分这两者，倾向于学习成本最低的那个——而捷径的学习成本远低于真正的推理。 2026 年 2-7 月间，密集出现了一批工作试图解决这个问题。它们大致形成了三条技术路线。
路线一：修正轨迹——TRD
核心洞察：用教师修正学生的错误轨迹
TRD（Mila）的出发点是：OPSD 的问题不仅在于教师信号被污染，还在于学生 rollout 的质量本身很差。当学生走上一条错误的推理路径时，教师在这条错误路径上给出的指导是”事后诸葛亮”式的——它只能把当前错误稍微纠正一点，但无法帮学生回到正确轨道。 TRD 的做法是在蒸馏之前加一步”轨迹修正”：
- 学生生成原始 rollout
- 教师基于这个 rollout 生成一个修正版本（相当于”如果你之前的推理是这样的，后面应该怎么改”）
- 用修正后的轨迹作为蒸馏目标 这本质上是一种 prompt 改写策略——教师的输入从”问题 + 答案 + 学生轨迹”变成了”问题 + 学生轨迹 → 生成修正轨迹”。好处是修正轨迹和学生的推理路径是连贯的（不像纯教师生成那样可能走完全不同的路线），坏处是对教师能力要求高（需要能理解并修正学生的推理错误），且对数据格式有要求（需要 CoT 结构）。 TRD 的局限在于它依赖教师的修正质量。如果教师本身对学生的错误理解不够，或者学生的错误太离谱教师也无从修正，这个方法就会失效。
路线二：信号净化——让教师信号减去捷径成分
如果说 TRD 是在输入端做清洗（改善学生的轨迹），第二条路线则是在输出端做清洗（净化教师的信号）。
PurifiedOPSD：用减法消除答案捷径
核心洞察：用减法消除捷径
PurifiedOPSD（通义）的核心直觉非常直接：如果我们能测量出”教师信号中有多少来自答案”，把这部分减掉，剩下的就是纯净的推理指导。 怎么测量捷径成分？构造一个”只看答案、不看问题”的对照条件。具体操作是对同一个教师做三次冻结前向传播：
- 正常条件：教师同时看到问题和答案，输出 logprob_full
- 纯答案条件：教师只看到答案（遮蔽问题），输出 logprob_answer_only
- 纯问题条件：作为基线参考 核心假设是：logprob_answer_only 捕获的就是”仅凭答案就能推断出的信号”——即捷径成分。用 logprob_full 减去 logprob_answer_only，得到的残差就是”需要问题才能产生的推理信号”。 当然，残差不一定是合法的概率分布，所以还需要一些工程处理：中心化、tanh 软裁剪保证数值稳定，然后加到基础模型的 logprob 上，经过 softmax 得到最终的蒸馏目标分布。训练用 JSD 散度，β 参数控制修正强度。 这个方法开销不算大（额外两次前向，约增加 10% 计算），效果上消除了”先升后降”的现象——训练曲线变得单调上升，不再需要精细的早停策略。
RLCSD：用正确/错误对比消除风格噪声
核心洞察：正确 vs 错误对比隔离风格噪声
RLCSD（同样来自通义）用了类似的”减法”思路，但对比的维度不同。 PurifiedOPSD 对比的是”有问题 vs 无问题”来隔离答案捷径。RLCSD 对比的是”正确答案 vs 错误答案”来隔离风格噪声。逻辑是：当教师分别在正确答案和错误答案的条件下生成指导时，两者共有的成分就是与答案内容无关的”风格变化”（教师看到任何答案后都会产生的行为模式变化）。正确条件特有的成分才是真正有用的推理信号。 实现上，RLCSD 利用了 on-policy 蒸馏中自然产生的正确和错误 rollout：同一个问题采样多次，根据最终答案的正确性分组，教师分别在正确提示和错误提示（K 个取平均以消除个体噪声）下做前向。净化信号 = 正确条件信号 - 错误条件信号。 一个额外的设计是 AORM 锚定：用验证器（ORM）的奖励确定信号方向，对比结果只调整幅度。这避免了减法结果方向完全错误的风险。 PurifiedOPSD 和 RLCSD 的共同前提是：捷径/风格成分可以被简单的减法消除。这要求两个对照条件之间变化的确实只有目标成分，不存在交互效应。在实践中这个假设大致成立，但不完美。
路线三：自适应权重——不净化信号，而是控制学习力度
第三条路线跳出了”信号是否干净”的框架，转而问一个不同的问题：对于每个 token，我应该在多大程度上信任教师？
DemoPSD：用师生分歧度量信任度
核心洞察：师生分歧 = 教师可信度的反向指标
DemoPSD（CUHK）的核心观察是：如果师生在某个 token 上的预测本来就一致，那教师的指导大概率是可靠的（它只是确认了学生已有的推理方向）。但如果师生预测分歧很大，教师的预测可能来自它独有的信息——即答案。 基于这个观察，DemoPSD 用 JSD 度量每个 token 位置的师生分歧，通过 scaled sigmoid 将分歧映射为一个混合系数 α。α 越大（分歧越大），学习目标越偏向学生自身的分布；α 越小（师生一致），越信任教师。最终的目标分布是教师和学生的几何混合：π_target ∝ π_T\^(1-α) × π_S\^α。 这个方法的优雅之处在于它不需要额外的前向传播或对照条件。师生的预测本身就是蒸馏过程中已经计算好的——不增加任何计算开销。同时，EMA（指数移动平均）更新的慢拷贝用于计算目标分布，避免了训练目标随学生快速变化而振荡。 但 DemoPSD 有一个不那么显眼的前提：它假设”师生分歧大 = 教师受答案污染”。这在大多数情况下成立，但也存在例外——比如学生在某个推理步骤上犯了基础错误，教师的纠正是完全合理的，此时分歧大不代表教师不可信，而是学生需要大幅修正。DemoPSD 在这种情况下会错误地降低学习力度。 论文中用”reprompting”（用模型自己的正确答案替换外部答案作为教师输入）来部分缓解这个问题，但根本性地，这个方法更适合学生已经具备基础推理能力、教师主要起”精细化”作用的阶段。
DOPD：用优势差距做 token 级路由
核心洞察：优势差距 = 能力差距的代理信号
DOPD（京东 TGT）走了一条更精细的路线。它不满足于”信任/不信任”的二元判断，而是设计了四种 token 类型的不同处理策略。 关键创新是给师生都提供特权信息（答案），然后看它们的”优势差距”。如果教师在看到答案后概率提升很大，而学生提升很小，说明这个 token 上教师确实掌握了学生不具备的能力——值得强力蒸馏。如果两者提升都小，说明这个位置的答案信息不太有用——轻触即可。如果学生的提升反而更大，说明学生在这个方向上已经有优势——保留探索空间。 这种 token 级路由的粒度比 DemoPSD 更细，但代价是需要额外计算师生在不同条件下的概率差异，且”优势差距 = 能力差距”这个因果链并不完整——无法完全排除差距来自正则化或其他混淆因素。
方法横向对比
| 方法 | 核心策略 | 额外计算开销 | 适用场景 | 关键假设 |
|---|---|---|---|---|
| TRD | 教师修正学生轨迹后再蒸馏 | +1 次教师生成 | 学生轨迹质量差 | 教师能理解并修正错误 |
| PurifiedOPSD | 教师信号减去纯答案条件信号 | +2 次前向 (~10%) | 答案泄漏严重 | 捷径 = 纯答案条件信号 |
| RLCSD | 正确/错误答案条件对比 | +K 次前向 | 风格噪声主导 | 风格变化在正确/错误间一致 |
| DemoPSD | 师生分歧度量信任度 | 零额外开销 | 学生有基础能力 | 分歧大 = 教师受污染 |
| DOPD | 优势差距做 token 级路由 | +多次前向 | 需要精细控制 | 优势差距 = 能力差距 |
两个独特视角
除了上述三条主要路线，还有两个工作从不同角度切入同一问题。 NeuronOPSD 的出发点是”没有外部教师怎么办”。它用模型自身的神经元激活模式来指导学习：通过 early-unembedding 层的激活选择高共识样本（模型对这些样本的推理路径比较确定），然后用 Jaccard 神经元重叠度检索相似的 demonstrations 作为 few-shot 上下文，让模型在 few-shot 下充当自己的教师。最终目标是把 few-shot 带来的性能提升”内化”到模型参数中。 这个方法比较工程化（A+B 组合），但提出了一个值得注意的信号：神经元激活数量与答案可靠性之间存在相关性——激活越少的样本越不确定，越需要教师帮助。 SPD（剑桥）则从梯度子空间的角度切入。它认为模型在正确性定义 token 上的梯度方向代表了”能力的本质方向”，通过 SVD 提取前 r 个右奇异向量构造投影矩阵，在生成时将 KV 状态投影到这个子空间上。这相当于一个”能力滤波器”——只保留和能力相关的激活成分，过滤掉噪声。 思路确实新颖，但有几个疑点：这个”能力子空间”到底在语义上代表什么？无法解释。收益是否真的来自能力对齐，还是仅仅因为投影降低了 update norm（一种隐式的正则化）？论文没有排除这个混淆因素。
理论视角：在线模仿学习的优势从何而来？
前面的工作都是实证驱动的。When Does Online IL Help in LLM Post-Training?（THU + 北美四校）则从理论上回答了一个更基础的问题：在线模仿学习相比离线模仿学习的优势，到底来自什么？ 传统解释是”误差累积”（compounding error）——离线方法在推理时偏离训练分布，每一步的偏差都会放大。但这篇工作指出这个解释太笼统了，真正的答案是非可实现性（non-realizability）：当学生的策略空间无法精确表达专家策略时（在 LLM 蒸馏中几乎总是如此），离线方法存在一个信息论瓶颈。 具体来说：在离线数据中，”对当前学生最优的行为”出现的频率极低——因为专家生成的样本反映的是专家的策略，不是”对学生最优的策略”。学生需要从大量不完全匹配的数据中萃取出适合自己的信号，效率很低。而在线方法让学生自己探索，专家只需在学生的探索结果上提供评价或修正，信号直接针对学生的当前状态。 一个反直觉但重要的推论：专家信号不完全可靠也没关系，只要它的错误落在学生本来就学不会的方向上。 这给 OPSD 中”教师看答案”的做法提供了部分理论辩护——如果答案泄漏产生的偏差恰好位于学生策略空间无法表达的子空间中，它就不会对学生的最终表现造成实际伤害。 当然，这个理论是在 contextual bandit（H=1）框架下建立的，还没有推广到长序列 MDP。对于 CoT 推理这种多步决策过程，结论是否依然成立尚不确定。但它至少解释了为什么 OPSD 尽管存在答案泄漏问题，在实践中依然有效——泄漏的危害可能比我们担心的要小，因为学生的容量限制本身就是一种天然的过滤器。
全景图：这些工作放在一起告诉我们什么
回到开头的问题：让小模型从大模型身上学东西，边界在哪，陷阱在哪，怎么绕过去？ 边界很清晰：
- 蒸馏只加速收敛，不突破学生本身的能力上限（Distillation Scaling Laws）
- 教师的表达复杂度不能超出学生的模仿能力（Small Models Struggle）
- 从零训练教师只服务一个学生，永远不如直接监督学习 陷阱也很明确：
- 信息不对称导致捷径学习（OPSD 的答案泄漏问题）
- 分布不匹配导致训练不稳定（on-policy 的早期崩溃）
- 小模型学风格而非逻辑（容量间隙的表达维度） 绕过去的方法形成了三条互补的路线：
- 修正输入质量（TRD）：让学生的轨迹更好，教师的指导更有针对性
- 净化输出信号（PurifiedOPSD、RLCSD）：保留轨迹但过滤教师信号中的噪声
- 控制学习力度（DemoPSD、DOPD、SKD）：不改变信号本身，而是动态调整每个位置的学习权重 这三条路线并不互斥。一个理想的组合可能是：用 TRD 修正学生的初始轨迹，用信号净化去除教师输出中残余的答案捷径，再用分歧感知调制每个 token 的学习强度。目前还没有工作系统地探索这种组合，但多篇论文都在”扩展方向”中提到了类似想法。 从实践角度看，几个经验法则已经比较稳固：
- 小模型（<3B）用短推理链 + 能力匹配教师，不要试图让它学长 CoT
- OPSD 训练需要某种形式的泄漏缓解，不能指望裸训练
- “先蒸馏后监督”的两阶段策略在大多数场景下是安全的选择
- 教师选择要考虑推理成本：小模型多 token（过训练）优于大模型少 token
- 如果计算预算充足且数据充足，直接监督学习可能就是最优解 剩下的开放问题集中在三个方向：这些方法能否从数学推理推广到其他任务（代码、创意写作、多模态）？不同净化路线的组合效果如何量化？理论上的”非可实现性”分析能否从 bandit 扩展到完整的序列决策框架？这些大概是 2026 下半年的方向。