ChartAgent: A Multimodal Agent for Visually Grounded Reasoning in Complex Chart Question Answering

Idea

ChartAgent 把图表 QA 的中间推理放回图像空间：agent 反复定位 legend、分割 bar 或 pie slice、标注坐标并计算数值，再查看工具输出的可视化以修正下一步。它以无需训练的工具编排补强通用 MLLM 的精细图表感知。

Research Problem

现有 Chart VQA 容易借助显式数字标签作文本推理；在 unannotated charts 中必须从像素位置、面积或颜色映射恢复数值，纯文本 chain-of-thought 无法纠正底层感知错误。通用视觉工具若缺少图表语义和可检查输出，也难以支持可靠的逐步计算。

Insight

图表虽类型繁多，却共享 legend、axis、tick、segment 等结构；将这些元素变成可操作 primitives，就能把复杂问题拆成有可视化证据的局部步骤。观察标注结果还能发现错误颜色关联、负 bar height 或缺失分割，从而调整工具，而不是持续沿用错误读数。

Method

1. orchestrator 提取 chart type、annotation status、legend、axis labels 与 ticks；含明显文本捷径或定性问题可直接交给 base MLLM，其余进入视觉 ReAct loop。
2. 按 chart type 检索一至两个成功工具轨迹作 few-shot ICL，并将 metadata 用于工具参数；每轮 Thought 确定视觉或计算子目标，Action 在 Python notebook 调用工具。
3. 通用工具覆盖分割、legend 标注、axis localization 与 interpolation，专用工具处理 bar isolation、pie area 等；底层结合 SAM、Semantic SAM 和 OCR，返回坐标、数值及可视化。
4. MLLM 检查 masks、overlay 与读数的对应，必要时改阈值、换工具或重新定位；直到给出答案或达到十五轮，工具证据持续不足时回退直接 MLLM 推理。