RAG 中的图片等非文本内容应该如何处理？

核心回答

图片等非文本内容，要同时解决怎样表示和检索，以及命中后怎样让模型读懂这两个问题。入库时保留原始内容、文档位置和来源，再按信息特点选择三种可组合的方式：

• 转成文本或结构化内容：扫描文字用 OCR，表格还要恢复行列与表头关系，再接入文本或结构化检索。
• 生成图片描述供检索：用视觉模型描述图中对象、关系和主题，将描述与原图关联；检索命中描述后取回原图。
• 直接做视觉或跨模态检索：用适合图文匹配的模型编码图片或文档页面，让文字问题能够检索视觉内容。

回答时把相关文本、原图或局部区域交给支持相应输入的模型，并提供出处。文字密集的扫描件可以先用 OCR；图表、流程图和依赖空间关系的问题，通常需要保留视觉信息，不能只把图片删掉或保存成一个文件名。

三种方式各适合什么

OCR 与结构恢复：重点是把内容读对

扫描合同、票据等以文字为主的材料，可以先识别文字；电子 PDF 中已有可用文本时，也可直接提取。复杂文档还需要版面分析，保留标题、段落、阅读顺序以及图文的对应关系。

表格不能只把每个单元格识别成一串文字。行列、合并单元格、表头、单位和脚注决定数字含义，可以恢复为 HTML 或结构化记录，再按查询需要使用。精确求和或跨行比较时，优先基于核对后的表格数据计算。

这条路线便于复用文本检索，但 OCR 可能认错数字或丢失结构，也难以完整表达箭头、颜色和布局。因此仍需保留原图与定位，便于回查。

描述检索：用文字找到图，再让模型看图

为图片生成包含主题、主要对象、关系和必要标签的描述，将其作为可检索文本；同时保存图片 ID、原图位置、所属文档、页码与相关正文。用户提问后先检索描述，再根据 ID 取回原图和相邻说明。

例如一张系统架构图，可以描述“网关后接检索服务与业务服务，二者分别访问向量库和订单库”，让相关文字问题找到它。具体哪个服务连向哪个库，回答时再对照原图。

描述是对图片的有损解释，可能遗漏小字、例外或产生错误关系。它适合充当检索入口，不能保证覆盖所有未来问题；仅把描述交给文本模型，也不等于模型已经检查过原图。

视觉检索：保留页面的视觉表达

多模态 Embedding 可以将文字查询与图片映射到可比较的表示空间。查询端和图片端必须使用相互匹配的模型及预处理；两个向量维度相同，不代表可以直接比较。也可以分别建立文本索引和图片索引，各用匹配的查询编码方式，再融合候选。

ColPali 一类文档检索方法把页面编码成多个视觉向量，通过查询 Token 与页面局部表示的匹配得到相关性分数，适合考虑版面、图表等视觉信息。它与“每页只有一个向量”不同，也会带来更多向量存储和匹配开销。

检索模型负责找到候选，生成模型负责理解证据并组织答案；即使检索已使用视觉模型，最终回答也仍要获得实际需要的图文内容。

把检索结果接到回答链路

原图可以保存在对象存储或文档系统，索引保存检索表示及其关联标识。每条记录应能定位到文档版本、页码、图片或区域，并保留适用的访问范围。

在线先检索候选，过滤版本与权限，去重并按需要重排，再取回相关原图、必要局部区域及其上下文。对图中文字较小的情况，可以选取保持清晰度的局部，同时保留图例、坐标轴和单位，避免裁掉解释数字所需的信息。输入规模还要适配模型的图片数量、分辨率和上下文限制。

例如用户问“第三季度哪个地区增长最快”，系统应找到对应季度和口径的图表，再核对地区、单位以及同比或环比含义；需要精确计算时读取核对后的数据。只检索到一张主题相似的销售图，仍不足以回答。

图片路径、URL 或 Base64 字符串本身不会自动赋予纯文本模型视觉能力。需要按支持视觉输入的接口提交图片，或者先可靠地转换成文本与结构化内容。最终引用应能回到实际采用的页或图，方便用户核对。

表格、音频和视频还要保留什么

表格保留结构、单位与脚注；公式保留符号关系和原始位置，关键表达需核对识别结果。音频可以转写成文本并保留时间戳，必要时区分说话人；视频可以结合转写、关键帧和时间位置，让命中的文字能够关联到对应画面。帧采样过稀会遗漏短暂事件，转写也不能表达全部视觉信息，处理方式应随问题类型调整。

评测时分别观察资料解析是否正确、相关图文能否召回、模型能否读对数字与关系，以及最终引用是否支撑答案。可按扫描文字、表格计算、图表比较和流程图理解分组，同时比较延迟、索引空间与推理成本，再决定哪些资料需要更复杂的视觉链路。

对应教程

参考资料