NaviMaster: Learning a Unified Policy for GUI and Embodied Navigation Tasks

Idea

NaviMaster以显式visual target统一GUI与embodied navigation，把物理移动从无目标的MOVEFORWARD改写为屏幕坐标MOVETO，使二维点击和三维导航都成为看图定位后行动。随后以统一GRPO和distance-aware dense reward联合训练一个policy。

Research Problem

GUI与embodied agents通常分别训练：前者输出精确像素位置，后者输出自中心移动指令，动作表示不同妨碍跨域迁移。二值grounding reward又让大量略偏离目标的rollouts同为零分，无法利用“更接近正确”的信息；仅保存历史动作也缺少动作目的的语义线索。

Insight

二维和三维任务虽有不同执行器，但均可通过当前视觉中的目标位置组织决策。把下一物理waypoint投影到图像后，两类数据可共享目标定位学习；三维depth差异再作为奖励门槛，防止把像素相近但空间上隔离的位置当作等价目标。

Method

1. 将动作归为specific、view-shifting及localization三类，保留BACK、STOP等语义动作，统一转向/滚动方向形式，并把embodied移动改成MOVETO(x,y)。
2. 复用GUI-Odyssey轨迹，在Matterport3D/Habitat中用A*取得路径点，变换到当前相机坐标并投影；若下一点不可见则插入转向动作。GPT-4o根据instruction、观察及动作生成第一人称reasoning，GUI数据可额外使用下一截图作标注参考。
3. 以每个step的指令、当前图像和历史thought/action作为输入，直接用GRPO训练，无额外SFT阶段；同组采样responses后计算标准化advantage，联合优化两种导航域。
4. reward包含格式、action type及grounding三项；grounding在像素距离与depth disparity均低于阈值时按距离连续给分，GUI的depth设零。用10000 GUI和10000 embodied样本训练统一7B模型，再测试多平台GUI与embodied任务。