你有没有想过这样一个问题：如果一个学生想变得更厉害，找一个比自己强很多的老师当然好，但如果身边只有水平差不多甚至不如自己的人呢？
(资料图片)
这不是什么假设性的哲学问题，而是现在AI训练领域正在面对的真实困境。大模型的后训练，也就是让一个已经学会基础知识的模型变得更聪明、更会推理，长期以来有一条铁律：你需要一个明显更强的老师模型。但强模型越来越贵、越来越稀缺，这条路正在变窄。
这篇来自浙江大学、上海人工智能实验室等机构的论文，就是在琢磨一件事：能不能不靠绝对更强的老师，照样把本事教给学生？
**在线策略蒸馏到底在教什么**
先说说现在主流的做法。
**在线策略蒸馏**：一种训练方法，让学生模型自己生成答案，然后老师模型给这些答案的每个词打分，告诉学生哪里对哪里错。
这个思路听起来挺合理，学生做题，老师批改，针对性强。但这里有个前提条件卡得很死：老师批改的分数，本质上来自老师自己对这些词的"把握程度"，如果老师和学生水平差不多，老师给出的分数就没什么信息量了。
打个比方。假设你在学做菜，身边有个厨艺比你好一大截的师傅，他尝一口你做的菜，马上能指出哪里火候不对、哪里调料多了。但如果换成一个厨艺跟你差不多的同事,他尝一口大概也说不出什么,因为他自己也拿不准标准答案在哪里。这不是同事偷懒,而是他没有可以依赖的更高标尺。在线策略蒸馏的问题正出在这儿:当老师和学生水平接近,老师给的反馈信号会变得模糊,训练效果自然打折。
论文里提到一个数据,像Qwen3这样的模型在实际的生产流程里,是先用传统蒸馏打基础,再用在线策略蒸馏做精细调整,但整个过程都依赖一个明显更强的老师。这就把方法的使用场景框住了,很多水平相近的模型之间没法互相教学。
**换个思路，教的不是答案，是进步的方向**
于是研究者们想到了一个巧妙的办法:别教老师的绝对水平,教老师"变强的过程"。
具体怎么做?找来一个基础模型(我们叫它"参照"),再找一个在这个基础模型上经过训练变得更强的版本(我们叫它"专家")。关键的洞察是:专家和参照之间的差异,其实蕴含了一种"进步的方向"。这个方向可以剥离出来,单独教给另一个完全不同的学生模型。
**相对策略差异迁移**：不直接让学生模仿老师的最终水平，而是提取老师从初始状态到进步状态之间的变化规律，把这种变化规律迁移给学生。
这就好比一个健身教练,他自己可能举不动你能举的重量,但他清楚地知道一个人从新手到能举起某个重量,中间经历了哪些训练环节的变化。他教你的不是"我现在能举多重",而是"我从弱到强这段路是怎么走的"。这种知识不要求教练本身绝对比你强,只要求他真的经历过一次有效的成长。
这个思路听起来很美好,但论文的作者们很快发现一个问题:之前的研究大多只验证了一种狭窄的情况,就是专家是在参照模型上做强化学习训练出来的。那如果这种差异是通过别的方式产生的呢,比如简单粗暴地换一个更大的模型?这种差异也能同样有效地迁移吗?没人仔细验证过。
**用一套统一的数学语言,把这件事说清楚**
论文的第一个贡献,是把这套"教进步方向"的方法,用一个统一的理论框架重新梳理了一遍。
研究者们借用了强化学习里的一个经典思路:**隐式奖励**。
**隐式奖励**：不需要人为设计明确的打分规则，而是通过两个策略(比如专家和参照)之间的概率比值，自动推导出一个等价的奖励信号。
数学推导显示,专家和参照之间的对数概率差,实际上等价于某种任务奖励信号,只不过多出来一个与具体动作无关的常数项,这个常数项在比较不同选择时会自动抵消。换句话说,这个差异本身就携带着"什么样的行为更好"的信息,不需要额外设计复杂的奖励函数。
基于这套理论,论文提出了一个叫做**任意到任意的在线策略蒸馏**的框架,英文缩写A?-OPD。
**任意到任意（A?-OPD）**：一种广义化的蒸馏框架，允许专家、参照、学生三者分别来自完全不同的模型，不要求任何两者之间存在直接的血缘或训练继承关系。
这个框架的巧妙之处在于,它把传统的在线策略蒸馏变成了一个特例。当专家就是老师、参照恰好等于学生自身的初始状态时,这套新框架会自动退化成最原始的蒸馏方法。这说明新框架不是推翻旧方法,而是把旧方法纳入了一个更大的坐标系里。
**哪些差异值得学,哪些不值得**
理论框架搭好之后,真正有意思的部分来了:大规模的实验验证。
研究者们固定了一个学生模型(Qwen3-8B),然后换上九种不同来源的"进步差异",看看哪些差异真的能让学生变强。
结果相当明确。通过**强化学习**和**监督微调**这两种任务导向训练方式产生的差异,迁移效果非常稳定,目标模型的提升幅度能达到9.78到32.23个百分点。但纯粹靠换用更大规模模型产生的差异,效果就差多了,有的甚至是负数,比如用14B模型相对4B模型的差异去教8B模型,提升只有0.02个百分点,几乎等于没用。
这个发现有点反直觉。一般人的默认预期是,规模更大的模型总归懂得更多,拿它和小模型的差异去教别人,多少应该有点用吧?但实验数据狠狠打破了这个预期:规模差异和任务训练差异,看起来都是"更强模型减去更弱模型",但实际携带的信息完全不是一回事。
研究者们还做了个很直观的验证,追踪训练过程中学生模型和两种不同来源的专家模型之间的"词汇重叠度"。结果显示,面对任务训练产生的差异,学生的重叠度从0.75一路爬升到0.81,说明它确实在朝着专家的方向靠近;而面对纯规模差异,学生的重叠度反而慢慢往下掉到0.78。这就像给了两份"进步秘籍",一份是真的教练笔记,记录了具体哪个动作要改进;另一份只是把两个不同体型的人的动作录像简单叠在一起,看起来也是个"差异",但里面压根没有可操作的改进建议。学生跟着真秘籍走,会越走越像那个标准;跟着假秘籍走,只会越走越偏。
有个细节特别值得拎出来说。研究者比较了两组"差异强度相近"的例子:一组是任务训练产生的差异,一组是规模产生的差异,两者用某种KL散度衡量的更新幅度分别是0.3531和0.4181,数值上很接近。但前者带来的目标提升是25.85,后者只有3.42。这说明光看"差异有多大"是不够的,差异的"方向对不对"才是决定性因素。更新幅度大不代表更有用,就像你推一辆车,用多大力气不重要,重要的是往哪个方向推。
**专家和参照,到底分别在干什么活**
搞清楚了"哪些差异有用"之后,下一个问题是:专家和参照在这个差异里,各自扮演什么角色?
论文给出的答案很清晰:**专家提供能力的上限,参照负责把共同拥有的部分过滤掉,留下真正值得迁移的那一小块残差**。
研究者固定参照模型不变,只换专家模型的强弱档次。随着专家从早期训练阶段换成后期训练阶段,专家自身的能力提升从22.09一路涨到32.28,目标模型拿到的提升也跟着从22.42涨到28.18。专家更强,学生能拿到的东西确实更多,这点符合直觉。
但有意思的是另一半实验:固定专家不变,只换参照模型。如果把参照从"基础模型"换成"专家训练过程中的早期检查点",目标模型拿到的提升直接从26.84掉到9.62。原因在于,参照模型本身已经吸收了专家一部分的能力,这部分重叠的内容会被过滤掉,剩下能迁移的东西自然变少了。
这个现象让我想到一个很生活化的场景。假设你想跟一位大厨学做一道招牌菜,你观察他从什么都不会到做出这道菜的全过程,这中间的每一步改进都对你有价值。但如果你换个参照点,从他已经练到八成熟的阶段开始观察,你能学到的就只是最后那两成的精细调整了,前面八成的功夫全被这个参照点"吸收"掉了,看不见了。参照点选得越靠后、和专家越相似,留给你学的东西就越少。
研究者还专门测量了专家和参照之间的**词汇重叠率**,这个数字从0.916(参照是早期检查点)降到0.839(参照是基础模型)再降到0.625(参照换成完全不同系列的模型),相应的目标提升幅度则是从9.62涨到26.84再涨到29.09。重叠率越低,说明两者共享的内容越少,留给学生的"干货"反而越多。
这里甚至出现了一个让人意外的结果:用一个完全不同家族的模型当参照,居然带来了最大的提升幅度,尽管这种配置下两个模型之间的策略距离指标是最大的。这说明参照模型未必要是专家的"亲生父母",只要能有效过滤掉重叠内容,外来的参照反而可能效果更好。
**有用的差异,不一定人人能学会**
论文走到这一步,其实解决了两个问题:什么样的差异值得学,这个差异里专家和参照各管什么。但还剩最后一个,也是最容易被忽视的问题:就算差异本身是好的,拿去教任何一个学生都行吗?
答案是不行。
研究者固定住几组已经验证有效的"进步差异",然后把它们套用到六种不同的目标模型上,包括Qwen3系列和Qwen2.5系列。结果呈现出明显的分裂:Qwen3系列的几个模型,提升幅度能到9.78到29.09;但同样的差异拿去教Qwen2.5系列的模型,提升幅度几乎是零,甚至有的还是负数,比如负1.79。
这个结果让人很想问一句:是不是因为Qwen2.5和这个差异的"距离"太远了?毕竟它们本来就不是同一代模型。
但研究者接着做的检验直接推翻了这个猜测。他们专门画了一张图,把"策略距离"作为横轴,把"学习效果"作为纵轴,结果发现这两者之间根本没有稳定的对应关系。有些Qwen3模型即便距离指标很大,照样学得很好,提升比率能到0.65以上;而Qwen2.5模型不管距离远近,大多数情况下都学不好。
这说明一件挺反直觉的事:**决定一个学生能不能学会某个进步差异的,不是它跟差异之间"隔得有多远",而是它和这个差异"合不合拍"**。这就好比两个人学同一本武功秘籍,一个人学得会不只取决于他基础好不好,更取决于这套招式是不是适合他的体型和习惯。身材魁梧的人硬学轻盈灵巧的招式,再怎么苦练也使不出真功夫,这跟他基础差不差没有必然关系,是招式本身跟他体质不配。
为了验证这个"合拍"假说,研究者做了一个很漂亮的对照实验:保持学生不变,只是把参照模型从Qwen3家族换成Qwen2.5家族。结果立竿见影,原本学不会的Qwen2.5目标模型,现在能拿到正的提升了,从负1.74一路翻到正值;而原本学得好的Qwen3模型照样学得好。这个干预实验说明,之前的失败不是目标模型天生学不会,而是参照模型没选对,给的"学习材料"形式不对。换一个和目标模型同源的参照,相当于把秘籍翻译成了目标模型能看懂的语言。
研究者进一步追踪了训练过程中的两个诊断指标。第一个是看学生模型是不是真的在往专家方向靠近,结果显示,学得好的目标模型,它和专家的重叠率会随着训练稳步上升;学不好的目标模型,这个重叠率基本停滞不动。第二个诊断是训练集和验证集的表现对比,对于那些学不好的目标模型,训练集上的准确率有时候看起来还挺高,甚至会突然冲高,但验证集准确率一直趴在地上不动。这说明问题不是训练不够,是模型只是把训练题目死记硬背下来了,根本没有真正理解和泛化那个进步方向。
**跨到代码任务上,结论还站得住吗**
论文最后做了个很重要的交叉验证:前面所有结论都是在数学推理任务上得出的,那换成代码生成任务,这些结论还成立吗?
研究者挑了几组在数学任务上表现为成功或失败的典型配置,原样搬到代码任务上重新测试。结果显示,规律基本一致:同代模型之间的迁移在数学和代码上都带来正向提升,分别是26.8和2.3个百分点;跨代模型的迁移在两个领域都失败,提升分别是负1.7和负6.4;一个经过验证的跨代专家配置,在数学和代码上都成功,提升分别是24.6和9.1。虽然代码任务上的整体提升幅度普遍比数学小一些,但成功失败的方向和排序完全吻合。
这说明研究者发现的这套规律,不是数学推理这个特定领域的巧合,而是一种更通用的模式。
写在后面
读完这篇论文,我印象最深的其实不是任何一个具体的技术细节,而是研究者反复验证的那个核心态度:不要轻易相信"更强就等于更有用"这种朴素直觉。
规模更大的模型,在很多场景下确实代表了更强的能力,但当你想从它身上提炼出一种可以迁移的"进步方向"时,规模差异提供的信号可能根本不含有效信息。这跟我们生活中常见的误区很像,一个人很厉害,不代表他知道怎么把这份厉害拆解成可以教给别人的步骤。
还有一个细节让我反复琢磨:参照模型居然可以不是专家的"亲生父母"。换句话说,你教学生进步方向的时候,拿来对比的那个基准点,完全可以是外来的、不相关的模型,只要它能起到过滤掉重叠部分的作用。这打破了我原本以为的"血缘关系必须保持"的假设,挺有意思的。
这篇论文留下的一个悬念是:为什么同一代模型之间的迁移总是比跨代更容易成功?论文把这归结为"目标是否能朝专家方向移动并泛化",但这个"能不能移动"的底层机制,到底是训练数据分布的问题,还是模型架构本身留下的某种印记,目前还没有一个清晰的答案。这个问题留给了后续的研究者。
Q&A
Q1：相对策略差异迁移是什么？
A：一种训练大模型的新方法，不要求老师模型比学生模型绝对更强，而是提取老师模型从弱到强的"进步方向"，把这个方向迁移给另一个学生模型，让学生学习进步的规律而不是老师的最终水平。
Q2：为什么模型规模差异不能有效迁移？
A：论文实验发现，单纯因为模型规模变大产生的策略差异，并不包含明确的任务改进方向，迁移效果很弱甚至为负。而通过强化学习或监督微调等任务导向训练产生的差异，才真正蕴含有效的进步信号，能稳定提升目标模型表现。
Q3：A?-OPD框架解决了什么问题？
A：A?-OPD允许专家模型、参照模型、目标学生模型来自完全不同的模型家族，不要求三者有直接训练继承关系，从而让知识迁移摆脱了对单一强教师模型的依赖，传统蒸馏方法只是这个框架的一个特例。
营业执照公示信息