学大模型的第一个障碍不是难，是散：Transformer、RAG、Agent、微调、推理框架，每块看着都重要，拼不出一张完整的图。常见结局是收藏几十个教程，被问到"LLaMA 和 GPT-2 有什么区别"还是说不清。问题不在努力，在缺一张地图。本文把知识体系画成一条主干加五条支线：主干按真实演进顺序坐完，支线按兴趣换乘。
主干线：七站坐到底
第 0 站，前置基础。Python、PyTorch、线性代数、一点概率。数学不用学成数学系水平——看懂矩阵乘法、知道每步张量形状怎么变就够。这一站最大的坑是赖着不走，想先把数学补完再出发。边学边补效率最高。
第 1 站，Transformer（2017）。搞懂自注意力在算什么、Q/K/V 各自的角色、为什么多头、残差和 LayerNorm 解决什么、为什么需要位置编码。建议先看图解材料建立直觉，再回头啃原论文——直接读原文容易劝退。
第 2 站，GPT-2（2019）——全图最关键的一站。只保留解码器，任务变成预测下一个词。这一站的目标是亲手写一个 GPT-2：分词、嵌入、注意力、堆叠、加载官方权重、真的生成文本。为什么强调动手？后面所有"新技术"绝大多数是在这套结构上换零件。脑子里有个能跑的 GPT-2，看任何新模型都能对照：改了哪里、为什么改。没有参照物，后面全靠死记。
第 3 站，预训练。交叉熵、反向传播、梯度下降、Adam 优化器，把这四件事搞明白。不用真花大钱——在小数据集上把一个小模型从头训起来，看 loss 降下去，原理就通了。
第 4 站，ChatGPT 时刻（2022）。预训练模型只会续写，InstructGPT 解决"听指令"：监督微调、奖励模型打分、强化学习对齐，三步流程。细节留给对齐线，这里理解整体即可。
第 5 站，LLaMA（2023）——开源分水岭。和 GPT-2 对照，主干还是那个解码器，零件换了四处：LayerNorm 换 RMSNorm（更快更稳）、FFN 激活换 SwiGLU（门控增强非线性）、绝对位置编码换 RoPE（旋转矩阵编相对位置，天然外推长序列）、后续版本加 GQA（多头共享 KV 省显存）。"换零件"这个视角从这里正式建立。
第 6 站，MoE 稀疏专家。参数做大、每个 token 只激活一小部分。三个节点：Switch Transformer 把路由简化到单专家、Mixtral 带进开源、DeepSeek-V3 总参 6710 亿但每 token 只激活约 370 亿。想读懂 DeepSeek 的论文，这站绕不开。
第 7 站，推理模型（2024-2025）。o1 和 DeepSeek-R1 代表"先思考再回答"的范式，能力主要靠强化学习在可自动验证的任务（数学、代码）上练出来。R1 的核心是 GRPO——去掉传统 PPO 的 Critic 价值网络，对同一问题采样一组输出、组内对比算相对优势，训练成本显著降低。R1 论文是这站最好的入口。
坐完主干的标志：看到一个新模型发布，能说出它在哪几站做了改动、解决了什么问题。
五条支线按需换乘
推理线（关心速度成本）：KV Cache 起步——最简单，也是后面一切优化的基础；然后 FlashAttention、PagedAttention（vLLM 的核心）、量化、投机解码。工程岗最容易上手也最好找工作的方向。
训练线（想搞懂为什么这么贵）：Scaling Law、数据清洗去重配比（对效果的影响常比结构改动还大）、混合精度、分布式并行、学习率调度。实操门槛最高，理解原理即可。
对齐线（想做微调）：LoRA 是性价比最高的入口，单张消费级显卡就能跑；然后 RLHF、DPO、GRPO。
架构线（想读懂技术报告）：就是第 5 站"换零件"的展开，外加 MLA（KV 压缩到低维）和长上下文。方法固定三问：原来什么样？换成什么？解决了什么？
应用线（做产品）：RAG、工具调用、Agent、多模态。这条线讲怎么用模型，其余讲模型怎么工作。做产品可以早换乘，但建议至少坐到第 4 站——否则分不清是模型能力边界还是自己用法的问题。
三条执行建议
第一，GPT-2 必须下车，手写一遍，写得笨没关系，它是全图锚点。第二，不用每站下车，主干坐完选一到两条支线深入，就已经超过大多数人。第三，学原理时用小例子手算：三个词的句子、四维向量，把注意力从头到尾算一遍——纸上算过一次，胜过十篇科普。时间上，有编程基础的主干认真学两到三个月，支线没有终点，这个领域每个月都在长新站。
评论0