Measure Twice, Click Once: Co-evolving Proposer and Visual Critic via Reinforcement Learning for GUI Grounding

Idea

CoPC把GUI grounding从直接输出一个坐标改为Propose-then-Critic：同一MLLM先提出多个位置，再观看标有候选ID的截图，排序并选择目标。训练同时优化生成与辨别，并根据两种能力的成熟度动态调节空间探索和排序奖励，使候选覆盖能力能够转化成最终点击精度。

Research Problem

GUI中相似控件密集，模型常理解了语义却不能准确定位；Pass@k远高于Pass@1说明正确候选可能存在，但连续坐标分散使几何聚类或取中位数难以可靠选择。未经训练的VLM critic能排除随机噪声，却容易被落在其他合理控件上的近邻候选迷惑。

Insight

把坐标画回截图可把数值回归转成可见的候选辨别，但生成者和critic必须一起提高：候选更逼真会提供更难的negative，critic更可靠才适合鼓励更广的搜索。过早同时最大化多样性和准确性会发生冲突，因此以双方表现的EMA控制辅助奖励强度。

Method

1. 同一policy在不同prompt下承担Proposer与Critic；前者单次生成K个坐标，visualization函数在原图画候选编号，后者在保留生成context的情况下输出候选排序，top-1坐标作为最终预测。
2. 用到ground-truth中心的Gaussian distance score及落入bounding box的hit reward衡量Proposer准确性；对候选坐标covariance determinant做有界变换形成coverage reward，鼓励空间分布多样。
3. Critic以所选top-1的distance quality获得基础reward，再用基于候选真实距离排序的NDCG奖励整体ranking质量，避免只学会简单排除远处随机点。
4. 分别用accuracy和NDCG的EMA表示Proposer、Critic maturity；最终Proposer reward由accuracy加critic maturity加权coverage组成，Critic reward由top-1加proposer maturity加权NDCG组成，基于GRPO联合优化两个角色。