Don’t Click That: Teaching Web Agents to Resist Deceptive Interfaces

Idea

DUDE 在 web agent 与点击执行之间加入 task-aware evaluator，判断点击是 legitimate、deceptive 还是 ineffective，并通过 hybrid-reward learning 与经验总结提高判别。它把防御落实到具体任务和坐标，而非只检测网页是否含 dark pattern 或让 agent 一律拒绝交互。

Research Problem

欺骗性按钮、弹窗和伪装链接会把视觉 agent 引向偏离用户目标的动作；独立 dark-pattern detector 缺少任务语义，简单拒绝又使正常操作受阻。防御需要区分高风险误放行与低风险保守拒绝，并将重复失败转成可迁移的规则。

Insight

同一界面元素是否有害取决于用户任务和点击落点，因而截图、任务与坐标应共同输入 evaluator。误批准欺骗动作的代价高于误拒正常动作，可用不对称奖励表达；失败案例的共性则能以短文本经验补充模型参数中的判别知识。

Method

1. 建立 RUC 的 1,407 个 screenshot–task 场景，标注正确与欺骗 bounding boxes；正常样本来自 ShowUI-web，欺骗样本结合真实网页和合成 HTML，覆盖新闻、预订、购物和软件，并人工验证区域。
2. 从正确框、欺骗框中心以及其他区域采样点击，训练 evaluator 输出三分类和 confidence。奖励根据正确性、confidence、错误严重程度、区域面积及距离因素加权，对把欺骗点击批准为正常设置较大惩罚。
3. 收集负奖励样本形成 failure pool，配合 success anchors 由 multimodal summarizer 更新经验文本；重复失败提高优先级，每轮重测后在成功与失败池之间移动样本，直到结束条件满足。
4. 推理时将经验与评估模板一起提供给 evaluator，仅批准正常点击，其余触发 agent 放弃该动作继续探索；在固定 held-out 场景上同时评估欺骗敏感性与任务操作能力，并分析两个训练阶段贡献。