图像理解、生成与编辑

图像理解与图像生成是两类任务

当你上传一张小票，请AI读出商品和金额，这是图像理解：系统从输入图像中提取或解释信息。当你输入“画一张森林里的小屋”，得到一张新图，这是图像生成。编辑已有图像，则同时涉及给定图像与修改指令。

这些能力可能出现在同一个应用里，也可能由不同模型提供。一个能理解图片的模型不一定能直接生成图片；一个能生成图片的工具，也不一定擅长准确读取密集表格。选择工具时，应先看实际输入输出能力。

模型怎样利用图片

图像会被转换成模型能计算的表示。模型学习把画面模式与语言或其他输出联系起来，因此可以描述场景、回答图片相关问题或提取部分文字。具体编码方式随模型而异，不需要把“看图”想成电脑里藏着一双人眼。

图片分辨率、裁剪、方向和清晰度会影响信息是否可读。人物遮住的文字、模糊的数字、很小的表格单元格，都可能成为误差来源。模型生成一段完整描述，并不意味着每个细节都已经可靠识别。

用小票区分三个不同步骤

本课的小票包含笔记本2本，每本12元，小计24元；签字笔3支，每支5元，小计15元；合计39元。识别任务首先是把这些字段读出来。

第二步才是计算：2×12＝24，3×5＝15，24＋15＝39。第三步是比较计算结果与票据标注。这样分开之后，如果出现错误，就能判断是读错了数量，还是用了错误算式。

让AI看小票，不会自动让它知道商店地址、营业时间或付款是否成功。对模糊内容，允许它标为看不清，比要求每个字段都必须填满更合理。

怎样提出图像生成或编辑要求

生成图片时，说明主体、画面内容、用途、比例和风格，通常比堆叠“高清、极致、震撼”等词更具体。做活动海报，还需要区分背景画面与必须准确的文字：日期、价格、联系方式应单独核对，必要时在排版工具中添加。

编辑已有图像时，明确哪些区域或元素要改变，哪些要保留。例如“把背景换成纯灰，保留商品外观与标签内容”。修改后要检查原本要求保留的细节，因为局部编辑也可能影响其他区域。

多模态扩展了模型能处理的材料，但并没有改变基本方法：先明确任务，再提供可读输入，最后按照任务所需精度核对结果。