Visual Document Understanding and Reasoning: A Multi-Agent Collaboration Framework with Agent-Wise Adaptive Test-Time Scaling

Idea

MACT 将 visual document QA 拆成 planning、execution、judgment 与 answer 四种职能，并为各职能配置不同 test-time scaling。它以程序流程为计算分配单位，用独立判断和返回原角色修正的闭环，降低一次完成文档解析、工具操作与推理的负担。

Research Problem

文档任务包含布局识别、精细文字提取、数值计算和多跳组织，单体 VLM 统一扩大参数不能直接解决流程错误。已有自我纠错可能保留原盲点，而让另一个 Agent 同时判断与重写又容易产生不兼容修正，并增加奖励设计复杂度。

Insight

生成方案、执行细节、检查错误和最终综合的计算需求并不相同。Judgment 只负责定位错误，再让原 planner/executor 改动，更容易维持步骤一致性。计算也应随角色分配：规划增加多样路径，执行逐步选优，判断增加思考预算。

Method

1. Planning VLM 先 analogical prompting 生成相关示例及计划，再为当前文档生成多条 high-level plans，说明各步目标但不提前绑定工具。Execution VLM 将步骤转为含目标、输入和预期输出的执行单元，从 tool library 选择资源。
2. Judgment LLM 分别判定 plan/process 错误并给出位置和描述，路由回对应角色修正，最多三轮。Answer LLM 同时接收已修正过程和之前错误片段，关注容易遗漏的修正细节。
3. Adaptive scaling 对 planning 采样多条独立路径，对 execution 每步生成多个候选并由 reward model 选最好节点，对 judgment 使用 minimum-thinking-token budget forcing；answer 不额外扩展。
4. 先分别 SFT 视觉能力、judgment labels 与答案综合，再以 GRPO 使用 mixed reward。VisualPRM 给 planner/executor 过程分，outcome reward 给 judge/answer，并加入完整最终路径 global reward，减少各角色只优化局部分数。