"数据越多模型越强"是预训练领域流传最广的半截话。完整的版本是：规模只是三个维度之一，数量、质量、多样性要放在一起看。盲目堆重复或低质文本，收益趋近于零，甚至把特定能力带偏。这篇把三个维度的关系、公开语料集合的读法、配比实验的做法一次讲清。
三个维度互相牵制，不是一个旋钮
- 规模：可学习的 token 总量，以及各来源的采样比例；
- 质量：文本是否连贯、有信息量、可解析、可信、符合使用权限；
- 多样性：语言、主题、任务、文体的覆盖广度。
三者存在此消彼长的硬约束：质量过滤拉高平均可读性，却可能清掉稀有领域的全部文本；专业语料占比拉高领域能力，通用对话的稳定性又可能受损；规模扩张推高训练成本的同时，数据治理的复杂度也指数上升。做数据决策前先明确你要保哪一维，不存在三赢的配比。
读公开语料集合，别只看 TB 数
Pile、ROOTS、RefinedWeb、SlimPajama 这类公开集合，真正值得研究的是来源构成、语言覆盖、许可证、过滤方式和去重策略——每一份集合都是一组数据治理选择的快照。只对比"谁有多少 TB"，等于只看菜的分量不看配方。同样要紧的是有效 token 口径：下载 10TB 不等于有 10TB 有效数据，重复率、可解析率、每类数据在训练中实际占比，才是决定训练效果的真实输入。
配比实验怎么设计才可信
比较两种数据方案时，三条纪律缺一不可：
- 控制变量：固定模型结构、训练预算和评测集，只动一个主变量（比如某领域采样比例从 5% 调到 15%）。同时动三个变量的实验结论等于噪音。
- 拆开看结果：指标按任务类型、语言、风险类别分别报告。总体平均分会掩盖局部崩塌——通用分涨 0.5 的同时代码能力掉 3 分，平均数看不出来。
- 查泄漏：训练集与评测集要做近重复检测和时间对齐检查，评测集混入训练数据或包含训练截止日之后的信息，结论直接作废。
训练步数与规模的关系也别忽略：同一批数据重复多遍不等于新增知识，过拟合风险反而上升；数据规模上去后，预算、模型容量、学习率要同步调整，否则大配比小算力只会得到一个欠训练的模型。
从能力缺口出发，倒推数据投入
更成熟的提问方式不是"还能抓多少数据"，而是三连问：当前模型具体缺什么能力？有哪些合法、质量可控的数据能补这个缺口？补完之后用什么指标证明有改善？流程就变成：先评测找失败模式 → 定向找数据 → 小样本对照实验 → 按拆分指标验证。
数据治理成本同样要提前算：数据越多，处理、存储、去重、版本管理越复杂。规模增长如果只是磁盘和带宽的增长，没有转化为有效 token 的增长，这笔投入就该砍掉。
一句话收束：把规模当资源，把质量和多样性当结构。语料更大不会自动让模型更适配真实用户，能被实验证明有效的数据增长才是有效增长。
评论0