预训练、后训练到推理的流程是什么？

核心回答

大模型从训练到使用，通常经历预训练、后训练和推理，主要区别在于学习目标、数据形式，以及是否更新模型参数。

1. 预训练：使用大规模文本、代码等语料学习通用语言规律和知识。以自回归语言模型为例，通过预测下一个词元优化参数，得到基础模型。
2. 后训练：在基础模型上强化指令遵循、任务表现、偏好与安全等能力。可以使用监督微调、偏好优化或强化学习，具体阶段和顺序由模型目标决定。
3. 推理：加载训练后的模型，接收提示词与上下文，逐步生成结果。常规推理不做反向传播，也不更新权重；检索、工具调用和会话记忆主要改变本次输入与执行过程。

例如关键词抽取：预训练提供语言基础，监督微调让模型学习“抽取主题并用分号输出”，推理时再处理一篇新文章。不是每个业务项目都要从预训练开始，通常从现有模型建立基线，再决定是否微调。

三个阶段分别交付什么

阶段	输入与目标	主要产物	怎么判断有效
预训练	经过清洗、去重和配比的语料；学习基础分布	基础模型权重、分词器与训练状态	验证损失、能力覆盖、评测污染与训练稳定性
后训练	指令回答、偏好比较或可验证任务；调整目标行为	后训练权重或适配器、模板与训练配置	指令/任务成功率、安全边界及通用能力回退
推理	当前指令、问题、检索证据和工具结果	生成结果、工具动作及执行状态	正确性、约束遵循、延迟、吞吐与资源消耗

三者的产物可以继续衔接：基础模型经过后训练形成面向对话或推理的模型；模型再由推理服务加载，接入具体应用。部署是把模型变成可调用服务的工程过程，不是额外的一种训练目标。

后训练不是固定的一条流水线

SFT 使用示范答案学习条件生成；偏好优化利用更好/更差的回答或奖励信号调整行为；强化学习还可结合测试通过、数学答案等可验证奖励。它们可以分阶段组合，但不能把“SFT后一定做RLHF”当成定义。

例如Qwen3原始发布方案包含长推理冷启动、推理强化学习、思考模式融合和通用强化学习；DeepSeek-R1-Zero则研究了不以SFT作为前置步骤的强化学习路线。这些例子说明后训练服务于目标能力，不能用某一款模型的阶段数概括所有模型。

全参数训练、LoRA 等描述更新哪些参数；预训练、SFT、偏好训练描述阶段或目标。用LoRA做SFT，仍然属于会更新适配参数的训练。

推理时为什么也会“越聊越懂”

应用把历史消息、用户偏好或工具结果重新放进上下文，模型据此生成更贴近当前任务的回答。这种变化不等于权重已经学习了对话。

模型输出被保存下来，也不会自动成为训练数据。若要形成后续训练闭环，还需筛选、标注、划分、训练和独立评估。推理中的采样策略、缓存与工具编排会影响输出或效率，同样不能与参数训练混为一谈。

常见追问

SFT和预训练不都是预测下一个词元吗？

对于因果语言模型，两者可以使用相似的自回归损失，但数据分布、条件输入、损失覆盖范围和目标不同。SFT更关注在给定指令后生成期望回答；是否只对助手部分计算损失，需看数据格式和训练配置。

RAG属于后训练吗？

通常不是。RAG在推理链路检索外部证据并构建输入，本身不要求更新模型权重；其中的Embedding或重排模型可以另行训练，但那是独立的训练环节。

对应教程

参考资料