MPR-GUI: Benchmarking and Enhancing Multilingual Perception and Reasoning in GUI Agents

Idea

MPR-GUI 一方面建立严格跨语言对齐的 GUI perception/reasoning benchmark，另一方面提出 GUI-XLI：从英文成功、目标语言失败的平行样例提取 hidden-state discrepancy，在推理时检索并注入残差流，改善非英语 GUI 理解。

Research Problem

交互式 benchmark 的最终成功率难定位感知与推理瓶颈，静态 benchmark 又缺少细粒度诊断；不同语言环境若同时改变布局和轨迹，就无法隔离语言因素。仅观察英语强、其他语言弱，并不能说明怎样把已有英文能力迁移到目标语言。

Insight

内容和场景一致的平行 GUI 可以减少语言以外的混杂；成功英文与失败目标语言的表示差，可能包含可用于纠偏的能力方向。以当前问题语义检索相近差向量，比对所有输入施加固定全局偏移更有针对性，同时保持原模型权重不变。

Method

1. 收集六语言、39 场景、六设备的平行截图，设计 widget function/interaction、action understanding/prediction、absolute/relative location，以及 rich/sparse information 八个维度。GPT-4o 生成英文 VQA，经人工验证与改写后做多语言、跨模态一致性检查。
2. 以四选一 exact match 统计各维度准确率并计算 FPR-ACC，最终含 12,936 个样本。此设计诊断语言与能力差异，RI/SI 用截图序列模拟端到端 reasoning。
3. 在英文答对、目标语言答错的样例中，输入问题、reasoning chain 与答案，提取选定中间层最后 token 的 hidden states 差；以目标语言 question–image 表示为 key、差向量为 value 构建 GUI-XL-Memory。
4. 推理时用 cosine similarity 检索 top-k 相近记忆，平均差向量并按强度加到 residual stream，再做保范数 normalization。各模型、语言在小验证集上选择层与强度，基础维度记忆可组合用于复杂 reasoning。