ALDEN: Reinforcement Learning for Active Navigation and Evidence Gathering in Long Documents

Idea

ALDEN 将长视觉文档问答改成可训练的多轮导航：VLM 在 semantic search、按页 fetch 和 answer 之间选择，并利用跨层级奖励学习有效取证。另以 generated tokens 与 visual observation tokens 两路 KL 约束维持视觉表示稳定。

Research Problem

全量文档输入成本高且易被无关内容干扰，固定 RAG 难以根据已读页面继续取证。只用语义检索无法可靠处理页码指代和相邻页线索；最终答案的稀疏奖励也不能有效区分有用导航与重复动作，而仅约束生成 token 会留下视觉表示漂移空间。

Insight

文档同时具有语义内容和显式页序，因此导航需要两种互补的寻址方式。有效动作的局部奖励要与最终答案目标连接，并在长视觉观察输入下保护预训练语义；这解释了为何扩展动作、细化 credit assignment 和稳定优化需要共同设计。

Method

1. 用 hierarchical MDP 表示 turn-level 动作决策与 token-level 命令生成；search 返回相似页及 physical page index，fetch 直接指定绝对页序，answer 结束交互。
2. turn reward 包括格式罚分、search 首次发现 gold evidence page 的收益、fetch 与证据页的距离及重复惩罚，以及加权答案 character F1，使最终回答仍主导收益。
3. 先做 turn-level GAE 将未来导航价值纳入每轮，再给 search query 的重复 n-gram 所涉及 tokens 分配惩罚，最后做 token-level GAE 供 PPO 更新。
4. Visual Semantic Anchoring 对生成和观察 token 分别施加 reference-policy KL，视觉路径权重更强，以抑制只约束动作空间时的表示漂移。
5. 从 DUDE、MPDocVQA、SlideVQA 筛选长文档并改写部分页码问题；初始化 Qwen2.5-VL-7B policy/value models，测试通常最多六轮并同时评估答案和取证质量。