数千亿参数的顶级模型跑不进手机，怎么让普通设备也拿到大半的 AI 能力？知识蒸馏是答案的核心拼图：教师模型传知识，学生模型瘦身不降智。本文拆清软标签为什么比硬标签值钱、大模型时代的两种蒸馏路径，以及蒸馏和微调的关系。
角色与动机
教师模型是能力强的大家伙，学生模型是小个子。直接训练小模型当然可行，但有个关键差距：标准答案之外的信息，只有教师能给。
用一道四选一的选择题看这个差距。正确答案是 C。普通训练数据（硬标签）只告诉学生"C 对，其他都错"。教师模型做题给出的却是概率分布：C 85%、B 14%、A 和 D 合计 1%。这份分布里藏着一条标准答案里没有的信息——B 比 A、D 更接近正确。研究人员把这类信息叫"暗知识"：教师的判断结构，而不只是判断结论。学生学分布而非学答案，学到的是教师区分选项的方式。在大语言模型里，这体现在对下一个 token 的预测分布上。
大模型时代的两条蒸馏路径
数据蒸馏：抄学霸的笔记。拿不到教师内部参数时的方案——让教师把解题过程写出来。以 DeepSeek-R1 的蒸馏系列为例：教师生成带推理步骤和答案的训练数据，筛选保留高质量样本，再用这些数据对 Qwen、Llama 等小基座做监督微调，最后在数学、代码任务上检验。产出覆盖 1.5B 到 14B 多个规模，学生远小于教师但在部分推理任务上表现不俗。注意边界：学生学的是教师生成的推理文本，不是复制教师的内部思考机制。
白盒蒸馏：手把手传内功。能访问教师内部信息时，可以让学生模仿教师的 token 预测概率、中间层特征表示、注意力模式——相当于不仅看答案，还看老师解题时的草稿。迁移更深，但需要内部访问权限，训练也更复杂。闭源 API 模型只能走数据蒸馏，开源权重两条路都通。
蒸馏换来的三样东西
部署门槛下降：7B、1.5B 级蒸馏模型配合量化能跑进笔记本甚至手机。推理效率提高：参数少意味着同等硬件下更快出结果，更适合高并发场景。落地成本可控：代码补全、客服问答这类垂直任务，蒸馏一个专用小模型往往比部署超大模型更划算——只要满足业务指标，省下的都是真金白银。
和微调的关系：一句话分清
微调是训练方式——用特定数据继续训练已有模型；蒸馏是知识迁移思路——让学生学教师提供的信息。用人工标注的题解训 7B 模型，是监督微调；训练数据来自更强模型、目的是学教师的回答方式，就属于蒸馏。所以蒸馏可以通过微调实现，但微调不一定是蒸馏——两者的分类维度根本不同。
实操校验清单
验收蒸馏效果别只看平均分：按任务类型、难度分桶对比教师与学生，看能力掉在哪一层；用教师失败案例对照检查学生是否继承了缺陷（蒸馏会连错误模式一起学）；量化后重新跑全量评测——压缩和蒸馏叠加的精度损失不是线性可加的。学生模型的能力上限始终受自身规模与数据质量约束，期望值要定在"特定任务够用"，而不是"全面继承"。
评论0