When Efficiency Becomes a Vulnerability: Computational Cost Attacks on WebAgents
Idea
CostBomb 将 web-agent 安全评测扩展到 computational cost:目标不是让任务失败,而是通过网页中的不可信内容诱发冗长 reasoning,使成功任务也付出更多生成成本。框架先生成候选干预,再训练 selection agent 从候选中挑出更容易增加输出长度的文本。
Research Problem
web agents 的研究多关注最终任务完成,对额外 latency、token usage 和资源消耗关注不足。手写干预在不同页面上效果不稳定,直接生成单个候选又受语言随机性影响;black-box 条件下无法用目标模型梯度优化这些影响。
Insight
任务成功不会排除成本型伤害,输出长度可成为一个独立、可从公共接口观测的 feedback signal。将开放式文本生成与较小的候选选择问题分离,可利用 RL 学习页面相关的选择策略,而不需要读取 victim 参数。
Method
- 形式化带 screenshot/HTML observations 的 web navigation,攻击方仅通过网页干预及目标运行反馈观察效果;把 agent 产生的 output tokens 数量作为 computational-cost proxy,保留原用户任务。
- LLM generator 读取当前环境内容及示范生成多样候选,selection model 结合页面上下文输出候选 index。研究的环境干预位于 agent 能读到的 HTML/accessibility 内容,而非修改用户指令。
- 训练时对同一页面采样多种候选并运行目标 agent,以输出 token 数为 reward,计算组内标准化 advantages,用 clipped GRPO 与 reference KL 更新 selector,generator 保持冻结。
- 推理阶段由已训练 selector 选择页面干预,比较 SeeAct 与 WebVoyager 在 Mind2Web Website、Task、Domain 划分中的成本变化和任务表现;通过移除 RL 的变体及不同基线检验 generation–selection 设计。
Sources & Reading Scope
阅读依据:官方 PDF 正文。核读页码按 PDF 页序计数,可能与 proceedings 页码不同。
p. 1 · p. 3 · p. 4 · p. 5 · p. 6
核读章节:Problem Statement · An Overview of the Proposed CostBomb · LLM-empowered Adversarial Prompt Generator · LLM-empowered Prompt Selection Agent · GRPO-enhanced Policy Update · Inference · Experimental Details
核读黑盒目标、候选选择和 RL reward。奖励公式直接优化 output length,并未加入任务正确性约束;保持任务表现是实验需要另行验证的结果。token 数是成本代理,不是直接测量能耗或所有端到端成本。