知识库：文档解析、分段与版本

为什么需要一份可维护的知识来源

大语言模型不一定知道你公司的最新政策、你自己的笔记或某个活动的规则。要回答这些问题，需要把相关资料提供给应用。资料少时可以直接粘贴；资料多时，应用可以建立知识库，按问题找到相关内容。

知识库不是一种让任何文件自动变准确的能力。它通常保存原始资料、处理后的文字或片段，以及用于查找的索引。资料本身重复、过期或矛盾，问答系统就会继承这些问题。

文件上传后，为什么还要解析

文件里的内容可能是普通文字、扫描图像、复杂表格或多栏排版。应用首先需要把它们读成可以处理的内容。扫描件可能经过文字识别，表格可能被转换为行列或文本，网页可能去除导航和广告。

这一步可能丢失结构。例如退款表里“提前24小时”和“全额退”属于同一行，解析后若错配到另一行，就会改变规则。建立知识库时，应先检查读取结果，而不是只看文件名是否出现在列表里。

文档为什么要分成片段

长文档不适合每次完整交给模型。应用常把文档拆成较小的片段，提问时只取回相关部分。这些片段常被称为chunk。分段要兼顾查找效率与信息完整性。

假设原文是：“提前至少24小时取消可以全额退款；不足24小时不退款，但可以转让名额。”若片段只保留“可以全额退款”，之后的回答就容易漏掉时限。反过来，把整本手册当一个片段，又可能带入太多无关信息。

新旧版本怎样管理

如果知识库同时保存旧版48小时退款规则与新版24小时规则，检索可能把两份都找出来。最好在资料管理或检索阶段明确有效版本，而不是仅依赖模型每次自行发现哪一份过期。

历史文档可以保留，但应与当前规则区分，并让系统知道查询是在问现行政策还是历史变化。更新一份来源后，还要检查旧片段是否继续被使用，不能只确认新文件上传成功。

从小规模资料开始验证

第一版可以只放一页规则，准备几个有明确答案的问题，再加一个资料没有覆盖的问题。这样能判断系统是否读对内容、找对片段，以及能否保留未知。发现问题后，也更容易定位是哪份材料造成的。

整理好来源后，下一步是找到与问题相关的片段。下节会解释关键词搜索、语义检索和嵌入各自起什么作用。