训练与推理：模型怎样学会和生成

模型怎样从数据中学到东西

上一课说，模型里有许多可以调整的数值，叫作参数。训练就是利用数据和计算，不断调整这些参数，使模型更接近训练目标。它不是由人把每个问题的答案逐条写进一张问答表。

以常见的生成式语言模型为例，一种重要的训练任务是：给定前面的文本，预测接下来出现的文本片段。训练材料中已经有后续内容，因此系统可以比较预测与实际内容的差异，再调整参数。重复这个过程后，模型逐渐学到用词、句法、文体，以及语言中表达的各种关系。

为了便于说明，先把下面的中文短语当作“片段”；真实模型使用的 Token 划分可能与这里不同。

已有文本：这杯咖啡太烫了，我想等它……

合理续写之一：凉一点再喝。

模型需要利用“咖啡”“烫”“等”等上下文，才能生成合适的后续。大规模训练会覆盖比这个例子复杂得多的材料，但基础关系相似：根据当前内容预测后续内容，并从预测误差中学习。

回答是怎样一段段生成出来的

使用训练好的模型来处理新输入，叫作推理（inference）。这个术语在这里表示运行模型，不保证每次输出都具有严密的逻辑证明。

常见的生成式语言模型会根据输入，计算下一个 Token 的候选分数，再按生成策略选择一个，把它接到已有文本后面，继续生成后续 Token。这个过程持续到模型生成结束标记，或触及输出长度等限制。

例如“凉一点”生成之后，已有上下文就变成了“这杯咖啡太烫了，我想等它凉一点”。接下来再生成“再喝”便有了新的依据。你在屏幕上看到字逐渐出现，常常与这种逐步生成和应用的流式展示有关；界面的显示批次不一定等于一个 Token。

为什么预测后续文本还能翻译、总结和回答问题

训练材料包含很多表达方式、任务形式与概念关系。要在不同上下文里预测后续内容，模型需要学习这些模式。再经过面向指令、对话等用途的训练，模型可以更适合按照“翻译下面的句子”“总结这段文字”等要求产生结果。

这解释了为什么提示词会影响回答：它成为本次生成的输入条件。也解释了一个限制：生成过程偏向产生符合上下文的内容，本身并不等于完成了数据库查询、数学证明或事实审查。写得合理与查证属实，需要分开判断。

现代模型使用复杂的网络结构。你可能听到 Transformer 和注意力机制：可以先理解为一种组织计算的方法，让模型在处理当前位置时利用上下文中相关的信息。这里不要求掌握网络层数或公式；需要记住的是，相关信息必须进入它能使用的输入范围。

训练、聊天和记忆分别改变了什么

你在聊天里纠正一个日期，模型下一轮使用正确日期，通常可以由“新日期进入当前上下文”解释，不必假定模型刚刚完成了永久训练。应用是否保留这些内容、是否在后续用于改进模型，则由产品的数据设置与条款决定。

下一课会具体解释 Token 与上下文。它们决定本次请求有哪些信息可用，也是理解长聊天、费用和模型接口的基础。