模型的能力、局限与幻觉

为什么回答看起来正确，却可能是编的

前两课解释了语言模型根据上下文生成后续内容。这个过程可以产生流畅、完整、像那么回事的回答，但它没有自动证明每句话都符合现实。生成了缺少依据、与材料冲突或虚构的内容，通常被称为幻觉。

一个容易识别的例子是：材料只写“图书角周一休息，地址为梧桐路18号”，模型却回答“周一可以去，借书免费，电话是12345678”。这里同时出现了与原文矛盾的信息，以及原文没有提供的信息。句子是否通顺，对判断真假没有帮助。

不要把所有失败都叫幻觉。文件没有读出来、日期被应用截掉、搜索拿到过期页面，也可能导致错误。先确认错误在哪一层，才知道该补资料、修输入、换方法，还是调整模型。

能力、信息和可靠性是三个不同问题

“这个模型能回答吗”通常混合了三个问题。第一，它是否具备完成这类任务的能力，例如翻译或比较条件。第二，这一次是否拿到了必要信息。第三，在这个任务上，结果是否达到了可用的可靠程度。

例如，一个擅长总结的模型，也无法总结没有成功读取的文件；一个能解释历史事件的模型，也未必知道刚更新的营业时间。把任务所需信息补齐，往往比加长“请认真回答”的要求更有效。

一个事实应怎样找到依据

把回答拆成可以核对的陈述。例如“周一休息”“地址在18号”“借书免费”是三条不同事实，应分别找依据。前两条可能来自公告，第三条没有依据，就应保留未知。

让 AI 附上引用可以帮助定位，但引用本身也可能错误。需要打开原始来源，看它是否真的包含这条信息、是否仍然有效、是否适用于你问的对象。“有链接”还不是核查的终点。

模型自报的信心百分比，也不能直接当成经过测量的准确率。一个“我有99%的把握”的句子依然是生成文本，除非系统明确说明这个数字如何得到、如何校准。

怎样选择适合交给 AI 的任务

刚开始使用时，可以优先选择输入明确、结果容易检查、错误后容易修正的任务。改写通知、整理一段资料，都比较容易对照原文判断。涉及最新事实、重要决定或实际外部操作时，需要进一步建立来源、工具和验收流程。

这并不要求你每次从零审查所有文字。先找出会影响行动的关键项：人名、金额、日期、地址、承诺与结论。后面的课程会把这些核对方式应用到写作、搜索、资料问答与 Agent，而不是只留下一句“AI可能出错”的提醒。