网上讲 DeepSeek 的文章很多，但混杂着一个通病：技术细节和"发展历程"混在一起，后者往往经不起核对——比如"成立三个月发布百亿参数的 R1""与微软 Azure 合作推出企业平台"这类说法，在官方公开信息里找不到依据，属于典型的以讹传讹。本文只讲能从技术报告验证的部分：MoE、MLA、训练工程、推理优化四块，并明确标注哪些是流传错误。
MoE：稀疏激活省在哪
MoE（混合专家）的思路是把一个大模型拆成多个"专家"子网络，每个 token 只激活其中一小部分。DeepSeek-V3 总参 6710 亿级别，每 token 实际激活约 370 亿——参数量大但计算量小，这是它能把推理价格打下来的根基。门控网络负责路由：按 token 的特征给专家打分，选 top-k 个专家处理。负载均衡是 MoE 的命门——如果路由总把活派给少数热门专家，其他专家闲置，训练稳定性直接崩。DeepSeek 用辅助均衡损失约束各专家的负载分布。
MLA：KV 缓存的压缩术
多头潜在注意力（MLA）解决的是另一个问题：推理时 KV Cache 的显存占用。传统 MHA 里每个注意力头都存独立的 Key 和 Value，层数一多、上下文一长，缓存线性膨胀。MLA 把 KV 投影到低秩潜在空间，缓存的是压缩后的潜在向量，用时再展开——显存占用大幅下降，长上下文推理的成本随之可控。这一点和后面讲的实际部署直接相关：显存省下来，才能在有限卡数上跑高并发。
训练工程三件套
自研训练框架 HAI-LLM 之外，三个改进值得记：DualPipe 流水线并行算法把前向反向的计算与通信重叠起来，减少流水线气泡；FP8 混合精度训练降低显存和带宽开销；多 token 预测（MTP）让模型一次预测多个未来 token，既提升数据效率，推理时还能配合投机解码加速。这三项都是"系统工程"路线的产物——DeepSeek 的成本优势不是单一算法突破，是处处抠出来的工程复利。
推理部署：两阶段与分布式
推理分 Prefill（批量处理输入上下文）和 Decode（逐 token 生成）两阶段，负载特征不同，分开调度能提高集群利用率。跨机分布式推理是它跑得动的另一前提——单机装不下这个规模的模型。
验证技术文章可信度的方法
这类"硬核解析"文怎么辨别真伪？两条：一是对照官方技术报告（论文、GitHub README）核对技术细节，MoE/MLA/DualPipe 这些术语都有原文出处；二是警惕只有宏大叙事没有技术细节的段落——本文开头列的那些"发展历程"，正是没有出处支撑的部分。技术阅读的第一课：区分"报告里写的"和"作者推测的"。
评论0