DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding

Idea

DRS-GUI 在最终坐标预测前插入 training-free 的 dynamic region search。UI Perceptor 解析界面语义并提供 Focus、Shift、Scatter 三种调整视野的动作，MCTS planner 搜索最佳区域，最后才把紧凑 crop 交给已有 grounding MLLM。

Research Problem

高分辨率 GUI 中大量相似而无关的控件分散注意力，全屏一次预测容易定位错误。现有逐步 crop / zoom 往往只会继续缩小，一旦早期漏掉目标便无法恢复，也缺少判断新视野是否更符合指令的显式标准。

Insight

定位错误可能来自选择了不合适的观察区域，而非底模没有坐标能力。把视野选择表示为可回溯的搜索树，并以可交互性、语义相关性和界面覆盖评价候选，可在最终高成本 MLLM grounding 之前剔除干扰并恢复遗漏上下文。

Method

1. 用 OmniParser V2 提取元素框、OCR / icon description 和 interactive 标志；Instruction-large embedder 为指令和描述附加同一应用、系统 domain prefix，计算 cosine relevance。
2. Focus 选高相关元素并删除空间离群点，收缩其最小包围框；Shift 把区域移向当前视野外的相关元素并减少与旧框重叠；Scatter 纳入外部线索扩大视野，同时约束扩张尺度。
3. MCTS 以区域、解析元素及 relevance 为节点，先对全图 Focus 初始化，随后按 UCT 选节点、执行未探索动作、评价新区域并回传 reward 和访问次数，在固定预算内保留替代路径。
4. 区域 reward 加权组合 interactive-weighted relevance、元素面积占 crop 比例及由 relevance entropy 得到的 semantic concentration。选最高分区域让 base MLLM 预测点击点，以是否落入 GT box 测 ScreenSpot 系列 grounding accuracy。