很多人对「大模型」的认知是从应用层倒着建立的：RAG、Agent、工具调用，项目用到哪个就补哪个。这种路径能快速上手，但容易把模型当成黑盒——只关心它吐出什么，看不见答案背后那套生产和运行系统。把视角拉回结构本身，反而能把平时踩的坑归类清楚。
先把整条链路画出来
先画一条完整链路：
数据准备 -> 预训练 -> 指令微调/偏好对齐 -> 推理服务 -> 应用 -> 评估与改进
| | | | | |
质量/许可 能力底座 行为塑造 成本延迟 用户任务 证据链路
它不像看起来的那样是严格单向流水线。应用里的失败可能暴露数据缺口；评估结果可能要求回炉改训练；推理成本又会反过来约束模型大小和部署策略。更像反复迭代的工程循环，而不是工厂传送带。
结构：decoder-only 为什么成了事实标准
链路起点是结构。当下主流 LLM 几乎清一色 decoder-only 的 Transformer——GPT 那一支。BERT 走 encoder（擅长分类、检索式理解），T5 走 encoder-decoder（擅长翻译、摘要），但生成式对话与代码场景里 decoder-only 凭训练简单、扩展性好成了事实标准。结构决定了信息怎么被计算和传递，这是后面一切能力的底座。
数据准备决定模型「见过什么」。预训练要吃的是海量、去重、清洗过的网页与书籍语料，体量通常以万亿 token 计；这一阶段最容易被低估的是质量与许可——脏数据拖累下游，未授权数据带来合规风险。指令微调和偏好对齐（RLHF 及其后续）则负责行为塑造：让模型按人类期望的格式、语气和边界来回答，而不只是续写概率最高的下一个字。
成本账：训练看算力，推理看显存与吞吐
训练和推理的成本由什么决定，是工程师最该算清楚的账。训练看算力（GPU 时数）、显存（能放下多大模型与多少并行）、通信（分布式训练的卡间带宽）；推理看每次请求占用的显存（权重 + KV cache）、吞吐和延迟。一个参数更多的模型，如果延迟太高、太贵，或在关键任务上没证据支撑，实际价值未必比小模型高——这也是为什么不该只用「模型大小」描述系统。
推理服务是把模型变成 API 的那一层。核心工程问题是：怎么在有限显存里塞下权重和动态 KV cache，怎么用批处理、量化、投机解码把吞吐拉高，怎么在多个副本间做负载均衡。部署形态从裸 llama.cpp / vLLM 到托管云服务不一而足，选型的硬约束通常是延迟预算和成本。
应用与评估：用可复现指标钉住效果
落到应用，错误答案会被放大成实际风险。RAG 能补模型的知识时效，但检索错 chunk 比模型记错更隐蔽；Agent 能跑工具，但一步错指令可能触发一连串误操作。所以评估与改进是整条链路的最后一环，也是证据来源：你得用能复现的指标说「它变好了」，而不是凭感觉。
几个反复要追问的问题：输入数据是否可靠、合法、去重并保护隐私？模型学到的是通用语言能力，还是某些训练样本的表面模式？微调数据和目标是否真对应用户需要的行为？训练与推理的算力、显存、通信成本由什么决定？应用把错误答案放大成了什么风险？改动带来的收益和退化，用什么评估证据判断？
验证改动是否真有效，得靠可复现的评测，而不是口头对比。业界常用的公开基准有 MMLU（多学科知识）、HumanEval / MBPP（代码生成）、HELM（综合多维评测）；想把模型拉到本地批量打分的，可以用 EleutherAI 的 lm-evaluation-harness 这种开源框架跑标准化任务。线上侧则要靠离线评估集 + 线上 A/B 与回放，把「变好」钉死在指标上。
2023 之后的版图变化
这本书的本地 PDF 是 2023 年预览版，概念框架值得学，但具体 API、模型名、训练配方和性能数据不能直接当今天的现状。自 2023 年以来几件事已经改写了版图：偏好对齐从 RLHF 扩展到 DPO、RLAIF 等更省标注的流程；MoE 从论文走向主流（如 Mixtral 8x7B 这类激活部分专家的结构）；上下文窗口从 4K/8K 一路拉到 128K 乃至更长。读实践代码时，把它当解释机制的材料，再对照当前官方文档和可复现环境。
把链路放进真实项目，大致是这样：先收集公司文档，清理切分后建索引；选一个基础模型做适配；通过推理服务提供 API；上线后收集失败样本，回到数据、提示词或训练环节继续改。每个阶段工具不同，但最终效果由同一套任务指标判定。
成熟的系统，该知道自己在哪些问题上可靠，在哪些问题上必须交回给人。参数量帮估算能力和资源，却替代不了数据治理、权限控制、评估集和运行监控。把这条链路当成排查地图，比追一个新模型名字实用得多。
评论0