附录 多模态后训练¶
面向视觉算法工程师：文本后训练的全部原则仍成立，但视觉输入增加了图像预处理、视觉 token、空间坐标和跨模态一致性四类新变量。
1. 三个训练阶段分别改变什么¶
常见流程不是“把图片加入 SFT”这么简单：
- 模态对齐：冻结视觉编码器和 LLM，训练 projector，让视觉特征落到语言模型可消费的表示空间。数据多为图文对。
- 视觉—语言继续预训练：用大规模 caption、OCR、交错图文等数据更新 projector，并适度解冻视觉侧或语言侧，建立细粒度跨模态能力。
- 多模态指令微调：用视觉问答、文档理解、定位、图表推理和多轮对话教会任务行为。
只做第三步也能得到“会聊图片”的模型，但细粒度 OCR、定位和复杂视觉推理上限通常受前两步限制。
2. 图像预处理是模型协议的一部分¶
resize、crop、动态分辨率、切图顺序、归一化和视觉特殊 token 必须与训练完全一致。文本模型的 chat template 错了会掉点，多模态模型的图像占位与 patch 排列错了可能让整个视觉输入失效。
数据版本必须同时记录原图哈希和预处理配置。两份相同 JSONL 如果图片预处理不同，不是同一训练集。
3. 多图与视频的样本结构¶
多图任务必须明确每个视觉 token 区域对应哪张图，文本中的“第一张/第二张”要与排列顺序稳定一致。训练数据若总是按答案顺序放图片，模型会学到位置捷径。
视频不能只当作很多图片堆起来。采帧方式决定模型能看到什么：均匀采样可能漏掉短事件，关键帧采样可能丢失运动过程。评测时要区分视觉理解失败和上游采帧失败。
4. Grounding 数据¶
检测框和点坐标需要统一坐标系：像素坐标还是归一化坐标、xyxy 还是 xywh、原图还是 resize 后图。格式不统一会产生大量看起来“接近正确”的错误监督。
位置 token 化也会影响精度：把连续坐标离散成有限 token 易生成但有量化误差；直接生成数字灵活却更难稳定解析。无论哪种，都要用 IoU/点距离等真实几何指标，而不是只用字符串匹配。
5. 多模态 SFT 的数据配比¶
若大量样本仅需语言先验即可回答，模型会学会忽略图片。必须加入“文本相同、图片不同、答案不同”的对照样本，以及无法从图中判断时应拒答的样本。
还要保留纯文本 replay，否则多模态微调可能损伤原有语言能力。配比应按视觉 token 和文本 token 分别统计，不能只看样本数。
6. 幻觉与证据绑定¶
视觉模型很容易把语言常识补成图中并不存在的物体。评测至少包含：
- 正常存在物体的识别。
- 相似但不存在物体的否定问题。
- 遮挡、低分辨率和信息不足。
- 要求指出证据区域或引用 OCR 行。
要求模型给出坐标或区域依据，可以帮助判断回答是否真的 grounded，但坐标本身也需要独立验证。
7. 多模态偏好与 RL¶
偏好标注员必须看到与模型完全相同的图像版本。缩略图、颜色空间或裁剪不同，会把预处理差异误标成模型偏好。
可验证 reward 包括 OCR 精确匹配、检测 IoU、图表数值、UI 操作是否达到目标状态。开放图像描述仍需要 calibrated judge 和人工抽查，且 judge 本身必须具备足够视觉能力。
GUI Agent 是多模态 RL 的典型环境：观察是截图，动作是点击/输入/滚动，reward 来自界面状态。坐标映射、窗口缩放和延迟都属于环境协议，必须固定并记录。
8. 最小评测矩阵¶
至少分别测试：
- 纯文本能力是否回归。
- 单图、多图、视频。
- OCR、细粒度识别、空间定位、图表与文档理解。
- 视觉幻觉和无答案拒答。
- 不同分辨率、长宽比、压缩质量和拍摄条件。
- 视觉 token 数带来的延迟与成本。
只跑一个综合多模态榜单，无法说明改进来自视觉理解、语言先验还是数据泄漏。
核心问答¶
Q：为什么多模态 SFT 后模型可能不看图？ 数据中的答案可由文本先验猜出，忽略视觉仍能降低 loss。需要反事实图像对和真正依赖视觉的任务。
Q：图像 resize 算部署细节吗？ 不只是。它决定视觉 token 的内容和排列，是模型输入协议的一部分，训练与推理必须一致。
Q：视觉模型幻觉怎样区分于识别错误？ 用不存在物体的否定样本、证据区域和反事实图片；只测正向识别无法区分。
Q：多模态 RL 最适合哪些任务？ 有真实环境或几何/执行验证器的任务，如 OCR、定位、图表数值和 GUI 操作；开放描述的 reward 更难可靠。