科普文都把蒸馏讲成"名师带高徒",比喻没错,但真要动手做蒸馏,比喻帮不了你。我去年用蒸馏数据微调过一个小模型,出来的效果在测试集上很漂亮,上线一周就翻车——后来复盘才发现,问题出在没算清楚四笔账。这篇把这四笔账摆出来。
先说结论。
蒸馏不是"把大模型变小"这么一句话,底座怎么选、显存够不够、数据干不干净、验收看什么,每一笔都能把项目卡死。
第一笔账:底座不止 Qwen 一家
很多文章讲蒸馏都拿 Qwen 举例,容易让人误以为蒸馏只有一条产品线。以 DeepSeek-R1 的蒸馏系列为例,2025 年 1 月发布的其实是六款:Qwen 底座的 1.5B、7B、14B、32B 四款,加上 Llama 底座的 8B、70B 两款。选学生模型时,Llama 底座的两款经常被忽略,但它们对以英文为主的场景适配更好。
这六款是官方蒸馏,方法就是常说的"抄笔记":让 R1 生成带推理链的样本,筛过后对底座做监督微调。学生学到的是老师写出来的推理文本,不是老师脑子里的计算过程——这句话决定了后面所有账的算法。
第二笔账:显存账不算,蒸馏无从谈起
想自己拿蒸馏数据微调一个 7B 学生模型,全参微调的显存账大致这样算:权重 bf16 约 14GB,梯度再 14GB,AdamW 优化器状态一份权重三份,又 56GB 上下,加上激活值,总量奔着 90GB 去了。单张 24G 的消费卡跑全参是痴人说梦。
我推荐直接走 QLoRA:4bit 量化加载底座加上低秩适配器训练,7B 模型在单张 24G 卡上能跑通,用 LLaMA-Factory 这类框架半天能起任务。代价是能力上限低一截,但对垂直任务的学生模型,多数时候够用。
装备账算完再立项,别反过来。
第三笔账:抄笔记会连错误一起抄
数据蒸馏最大的隐含风险是错误继承。老师生成的推理链里混着幻觉和错误步骤,按质量分筛选能滤掉一部分,但滤不干净——那些逻辑通顺、结论错误的样本,打分模型和人都容易放行。学生模型把错误推理步骤学进去之后,泛化到新问题上反而放大偏差。
我那次翻车就是典型:测试集和老师生成数据的分布太接近,错误模式全被盖住了,换真实业务数据就露馅。
还有一层法律账:R1 的蒸馏数据是 MIT 许可,用起来干净;但拿闭源模型的输出去蒸馏,多数服务商的服务条款明确不允许,商用之前得想清楚这个口子。
第四笔账:验收别只看均分
蒸馏效果怎么验收?只看 benchmark 均分是会被骗的。合理的做法是对比同底座、未经蒸馏的 SFT 基线:以 7B 这档为例,Qwen2.5-Math-7B 在 MATH-500 上大约 52.9 分,而 R1-Distill-Qwen-7B 能到 92.8 左右——这个差值才是蒸馏本身的贡献。不看基线只看绝对分,你分不清是蒸馏的功劳还是底座本来就强。
我的验收固定三步:先跑 MATH-500 这类公开集对齐基线,再用自己业务的数据集测分布外表现,最后抽查推理链——学生模型偶尔会写出格式正确但逻辑断裂的步骤,这种样本出现在关键业务里比答错分数更危险。
说到这插一句,很多团队裁员的刀最后砍在验收环节,前面三笔账都算得清清楚楚,最后一步图省事,全白搭。
四笔账算完,蒸馏该不该做、怎么做、做多大,基本就有答案了。大模型探索能力上限,小模型把能力送进更多设备,这个分工没错——错的是跳过算账直接冲进去的人。

评论0