本阶段课程 · 模型 API 与工具调用
API:一次模型请求与响应消息角色与对话历史调用参数、流式输出与错误处理Function Calling:模型怎样使用工具
LESSON 19 / 36阅读约 7 分钟

调用参数、流式输出与错误处理

理解长度、采样、用量和调用限制,区分内容错误与服务错误。

调用设置控制哪些事情

模型接口除了任务内容,通常还有一些设置,用于选择模型、限制输出、决定怎样返回结果或影响生成策略。它们不会自动补齐缺失事实,但会影响用量、等待体验和输出形态。

不同模型支持的参数不同,同一个参数名在不同接口中的含义也可能有差异。学习时应先理解概念;实际使用再查所选服务的当前文档,不必记一套所谓所有模型通用的配置。

设置或限制主要影响容易误解的地方
模型选择能力、速度、适用输入与成本更大的模型不保证任何任务都更合适
输出上限最多生成多少内容上限过低可能导致内容不完整
temperature等采样设置影响候选内容的选择方式不能当作事实准确率旋钮
流式返回生成过程中逐步传回内容开始显示不等于已经成功完成
速率与账户额度某段时间或账户允许的调用量与提示词是否写得好是不同问题

输出长度和内容完整性怎样联系

如果要求写一份较长报告,却只给很小的输出空间,结果可能被截断。应用应查看结束原因,而不能因为收到了部分文字就认为任务成功。

先缩小任务范围也可能解决问题。例如,只需要三条行动项,就不要请求背景、长分析和总结全都输出。若确实需要长文,可以分段生成,并在最后检查前后衔接。相关模型的推理用量与输出限制怎样计算,应以服务说明为准。

为什么低随机性仍可能答错

采样参数改变的是怎样从候选输出中选择内容,不能让一个没有依据的事实突然获得证据。模型若把材料理解错了,较低随机性可能只是更稳定地沿用同一种错误。

反过来,较开放的生成设置可能适合产生不同标题或创作思路,但你仍需要筛选结果。任务有精确答案时,优先提供正确输入、合适工具和验收标准;任务需要创意时,再关注候选的多样性。

一次失败应该从哪里排查

把问题分到正确位置很重要。没有任何回复且显示超时,应检查服务连接与状态;提示凭据无效,应检查账户配置;输出完整但日期写错,应回到消息和材料;输出半句话就结束,应检查结束原因与限制。

现象优先检查
连接超时请求是否到达、服务状态、是否可以安全重试
额度或权限错误当前账户、凭据、模型访问范围
内容截断输出限制、任务长度、返回的结束状态
内容错误原始材料、提示词、工具结果和模型表现

用量为什么要与结果一起记录

两次任务看起来都只问了一句话,但第二次可能附带了长历史和大量资料。真实输入用量由发送的内容决定,而不只是页面最后一行字。Agent还会多次调用模型,费用和等待也会随过程增长。

记录请求用量、耗时和通过情况,才能比较一次设置调整是否有价值。只看生成速度或单次价格,很容易漏掉人工核验与返工的时间。后面的成本课程会把这几项放在一起计算。

检查一下理解

一份完整回答把日期写错,优先应检查什么?

本节参考与继续阅读

下列章节用于核对概念与机制。本站以中文重新组织讲解,例子和练习为独立编写。

可选练习区分输出长度、连接或额度问题,以及内容质量问题。
练习目标

区分输出长度、连接或额度问题,以及内容质量问题。

本课用固定错误样例练习判断,不需要制造真实扣费或故意调用失败。若已搭建Dify应用,可以在测试运行详情里查看输入、输出和错误;没有应用就使用普通聊天工具分析样例。

三个教学样例
A:正文到“请在周五前……”就结束了,状态提示达到输出上限。
B:节点返回连接超时,没有任何生成文字。
C:输出完整,但把周五写成周六。

跟着做一遍

下面的结果是本站编写的对照示例。实际工具的措辞可能不同,按每步的关键条件检查即可。

01

先分清是哪类失败

把三种情况交给AI分类,再与结果对照。

发给 AI 的内容
请把A输出达到上限、B连接超时、C日期写错,分为长度限制、服务调用问题、内容错误。各写一个优先检查项,不要推荐盲目重试。
做完后,展开结果对照
对照示例 · 不要求逐字相同

A查最大输出设置或缩短任务;B查连接和服务状态;C对照材料修正日期,并检查输入是否明确。

为什么这样做错误发生在不同位置,修法也不同。连接超时不会因为加一句“认真思考”就自动解决。

02

减少输出任务,观察完整性

在普通对话或改写器中输入同一份通知,要求短且完整。

发给 AI 的内容
把这条通知整理为3个要点:周五18点前报名,周六10点活动,地点社区二楼。每个要点一句话,只保留事实。
做完后,展开结果对照
对照示例 · 不要求逐字相同

报名:周五18点前。活动:周六10点。地点:社区二楼。三个要点都应完整结束。

为什么这样做需要短文时先限制交付范围。若使用API的输出上限,应留够空间;具体参数是否可用、是否包含其他计费部分,以接口说明为准。

03

体验多次生成,但别给随机性打准确率分

在三个新对话中用同一要求运行,比较事实与措辞。

发给 AI 的内容
把“周五18点前报名,周六10点活动,地点社区二楼”写成一句自然的活动提醒,只用这些事实。
做完后,展开结果对照
对照示例 · 不要求逐字相同

三个结果的措辞可能不同,但都应保留同样的日期、时间和地点。任何一版写错事实都需要修正。

为什么这样做部分模型有temperature等随机性设置,并非所有模型都支持;即使设置较低,也不保证事实正确或每次完全相同。

刚才用到的一个新词

调用限制

服务对输入长度、输出长度、速度、额度等设定的边界;这些边界与内容是否正确是不同问题。

没做出来?从这里排查

回答完整但事实错了

检查材料与指令,针对事实修正;增加输出长度不能解决所有内容错误。

错误显示额度或权限不足

到实际账户配置和用量页面检查;不要把凭据粘贴进聊天要求模型修复。

换一个例子验证

给自己的小应用写三条排查说明。

  1. 一条针对空输出,一条针对截断,一条针对错事实。
  2. 每条写明先看什么证据。
  3. 把成功标准写为“内容完整且关键事实正确”。
检查标准不会把连接错误、限制和内容错误混为一谈。

完成状态仅保存在当前浏览器,可再次点击取消。