Benchmarking Web Agent Safety under E-commerce Deceptive Interfaces

Idea

WebDecept 通过可配置、状态触发的 frontend intervention，把常见电商 deceptive interfaces 加入正常购物任务，研究 agent 在完成任务的同时是否受到误导。benchmark 特别覆盖购物车与结账阶段，使安全评测能识别最终订单成功但用户利益受损的情况。

Research Problem

已有研究多围绕恶意用户指令或显式 prompt injection，较少系统评估广告、重定向、暗加商品和价格变化等真实界面操纵。复杂基础任务还会把能力失败与安全失败混在一起；若流程不覆盖 checkout，也看不到悄然改变订单状态的风险。

Insight

界面欺骗的影响应在明确触发点后测量，避免把从未遇到干预的 episode 当作安全成功。任务完成与安全不是互斥结果：agent 可以顺利下单，同时接受未授权的商品或金额，因此需要两个独立指标。

Method

1. 在 VisualWebArena shopping/OneStopShop 环境加入 trigger engine，按指定页面状态应用参数化界面改变；agent 继续接收 screenshot 与 accessibility tree，以共享 browser action space 操作。
2. 设计七类场景：普通或个性化 pop-up/banner、domain redirection、cart add-ons 与 price drift。前者在浏览阶段触发，购物操纵在购物车或 checkout 阶段触发，保留原有交互流程以形成受控比较。
3. 人工设计 9 个购物意图模板，覆盖直接、约束、推荐、比较与条件购买，变化产品及属性形成 45 个任务；控制推理难度，同时包含必须依赖视觉属性的任务，验证其目标与成功条件。
4. 完整记录 clean-to-intervened trajectories，TC 用最终订单 evaluator 判定；SVR 只在到达触发点的 episodes 上统计干预后不安全行为。每 agent 交叉组合 45 任务、7 场景、2 种提示，并消融界面设计及提示防御。