多模态评测实践：EvalScope、Chartography 与图表推理的误差拆解

回顾 2026-09-17 的 EvalScope 和 Chartography 提问；资料核查于 2026-09-18，未运行模型评测。

从“能测多模态吗”到“究竟测什么”

EvalScope 提供大模型评测与性能测试能力。多模态任务需要数据适配、图像输入、服务协议和评分器共同兼容；仅文本 API 能通不能证明视觉输入被模型正确使用。官方项目

官方自定义多模态文档支持 General-VQA 等格式，可表达文本与图像输入。应按固定版本核对字段、图片路径或编码方式，不把自然语言任务列表当作可直接运行的配置。多模态自定义数据指南

分别准备文字识别、文档定位、图表读数、空间关系、数学推理和多图关联样例。每题保留原图、标准答案、容差、必要领域知识和失败类别。先少量样本检查图片是否加载、分辨率是否被改变、答案是否被正确提取，再扩到正式 benchmark。

不要用总体平均分掩盖某一类失败；也不要将 API 超时或图片编码错误算成视觉推理能力不足。

作者将 Chartography 定位为专业图表理解基准，包含 100 个任务，使用专业实践中的图表与专业人员编写的问题。论文报告对 30 种模型配置评估，每题 20 次评分试验，最佳配置的平均 pass@1 为 45.0%。这是论文中的特定实验，不是今天所有模型的永久上限，也不是用户实测。论文

作者仓库提供图像、任务及评测材料，并强调答案容差应匹配图中可读精度。官方仓库。本次不把先前聊天里的“某图约 30 ft”等数值重抄成原题标准答案，因为没有逐图核对。

假设图表横轴为对数频率，在 10 与 100 Hz 两刻度几何正中取点，频率约为 sqrt(10×100)=31.6 Hz，而不是 55 Hz。这个例子没有使用真实 benchmark 图，意在说明：识字正确、定位正确后，还需要正确的坐标规则。

解题链可拆为：识别坐标与单位 → 定位目标曲线 → 读数或插值 → 应用领域规则 → 输出容差内答案。逐步记录失败点，能区分感知问题和推理问题。

同一视觉模型在不同图像缩放、裁剪、视觉 token 上限、提示模板与思考预算下可能产生不同分数。对量化前后做比较时固定这些条件，并记录服务端版本、随机性、评测次数及逐题输出。性能部分另报图像数量、分辨率、TTFT 与吞吐；不要将文本长度视作全部负载。

基准题应作为留出评测使用；如果已经用题目调过提示或训练，报告中应说明，避免把适配成绩当作未见任务泛化。