跳转至

现代大模型：做模型、跑模型、改模型

第二册大模型训练与推理系统

第二册大模型训练与推理系统¶

读者：已经读懂第一册模型架构，希望真正进入大模型训练、推理与部署工作的算法或系统工程师。

读完能做到：

给定模型、GPU 集群和训练 token 数，设计一套能算出每卡显存、通信量和预计 MFU 的并行训练方案。
看懂 Megatron、FSDP、DeepSpeed、vLLM、SGLang、TensorRT-LLM 一类系统各自在解决什么问题。
从一次请求进入服务开始，解释它如何排队、分配 KV、跨卡执行并逐 token 返回，并定位它慢在哪一段。
正确评测吞吐、首 token 延迟、逐 token 延迟和服务成本，而不是只报一个 tokens/s。
为数据中心或端侧部署选择精度、量化方式、推理引擎和硬件。

本册边界¶

第一册“做模型”：GQA、MLA、MoE、线性注意力、MTP 为什么存在。
第二册“跑模型”：并行策略、优化器与训练配方、推理引擎、量化与交付。
第三册“改模型”：用 SFT、LoRA、DPO、RLVR、RAG、工具和 Agent 改变目标任务行为，并用 harness 证明改对了。

优化器放在第二册而不是第一册，判据是同一条：它不改变模型结构，只改变训练过程，和并行、精度、数据管线属于同一类问题。

训练基础设施和推理基础设施不是两套孤立知识。它们都在解决同一个问题：模型的计算、参数、激活和通信，怎样放进有限的硬件，并让硬件少等待。

第一部分硬件性能与资源模型¶

第 0 章 GPU 系统与分布式计算基础：显存层级、算力与带宽、集合通信、最低工具栈
第 1 章训练显存构成与容量分析：权重、梯度、优化器状态、激活、临时张量与低精度
第 2 章 GPU 性能模型：算力、带宽与通信：算术强度、Roofline、小算子、通信重叠

第二部分分布式训练¶

第 3 章数据并行与梯度同步：DDP、全局 batch、梯度桶，为什么加卡不线性
第 4 章训练状态分片：ZeRO 与 FSDP：三个分片阶段、参数生命周期、预取与 offload
第 5 章模型内并行：TP、SP 与 CP：张量、序列与上下文并行，以及 packing 的静默坑
第 6 章流水线并行与专家并行：流水线气泡、1F1B、专家并行与 AllToAll
第 7 章多维并行策略与拓扑映射：从约束倒推配置，通信映射，MFU 与 HFU
第 8 章大模型优化器：AdamW、Muon 与训练配方：优化器机制、显存与收敛效率
第 9 章长周期训练工程：数据、容错与 Goodput：数据管线、检查点、故障谱系、goodput 与监控

第三部分大模型推理系统¶

第 10 章推理请求生命周期与性能指标：请求路径、四个指标、为什么并发能提吞吐
第 11 章 KV Cache 内存管理：PagedAttention 与前缀缓存：碎片、PagedAttention、前缀缓存、混合模型的两套状态
第 12 章在线调度：连续批处理与 Chunked Prefill：连续批处理、分块 Prefill、token 预算、抢占
第 13 章多 GPU 推理与 Prefill/Decode 分离：TP 的收益拐点、MoE 推理瓶颈、多副本与 PD 分离
第 14 章投机解码的系统实现：接受长度、草稿来源、树状验证、和大 batch 的冲突
专题后训练系统：Rollout、权重同步与策略版本：rollout 生成、资源摆放、权重同步与策略版本；算法留给第三册

第四部分模型压缩与算子优化¶

第 15 章数值表示与量化对象：权重/激活/KV 三个对象、粒度、为什么 W4A16 会变慢
第 16 章后训练量化：GPTQ、AWQ 与 SmoothQuant：离群值、GPTQ、AWQ、SmoothQuant、校准与验收
第 17 章高性能 Kernel、图编译与执行后端：融合、FlashAttention 方法论、Decode 专用 kernel、CUDA Graph

第五部分评测、服务与部署¶

第 18 章推理系统评测与容量规划：开环压测、延迟—吞吐曲线的膝点、goodput 与成本
第 19 章生产级模型服务：接纳控制、降级链、弹性滞后、故障重试、可观测性、多租户
第 20 章端侧模型部署：峰值内存、量化格式匹配、异构回退、温控与端云协同
尾声训练、推理与部署综合设计：训练集群、在线服务和端侧三道综合设计题

贯穿全书的两份产物¶

一张资源表：每次引入并行或压缩技术，都重算每张卡上的参数、梯度、优化器、激活、KV 和通信量。
一条请求时间线：每次引入调度或缓存技术，都重新标出排队、Prefill、Decode 和通信各花了多久。

它们不是比喻，而是两份可以实际填写的工程表格。第二册的每个技术选择最终都必须落到数字上。

附录¶

多模态服务：视觉编码缓存、动态分辨率 token 预算、视频长上下文和异构流水线