AdapAction: Adaptive Target Action Backdoor Attack against GUI Agents

Idea

AdapAction 研究 GUI agents 的 training-data backdoor 风险，将攻击目标从固定 trigger-action mapping 转为根据 instruction 和当前 GUI state 选择的 adaptive malicious policy。论文关注这种上下文一致的越权行为是否更难被发现，同时检验模型在未触发的正常任务上保留多少能力。

Research Problem

既有 GUI backdoors 往往在任何界面都触发同一种固定动作，容易与屏幕和用户目标明显不符。只评价能否触发目标动作，不能充分刻画 agent 会利用环境语义调整违规行为的风险。防御若主要检查视觉可执行性或表面任务相关性，也可能无法识别看起来连贯但并未获授权的附加操作。

Insight

Agent 的推理和泛化能力也可能被污染轨迹学成不良行为规则，因此安全风险不仅来自记忆某个恶意动作。界面一致性、用户授权和行为安全是不同条件，满足前者不能推出后两者。本文用变化的恶意类别分布和多原则检测分析这种区别。

Method

1. Threat model 假设攻击者可向 GUI agent 的 SFT 数据混入少量 trajectories，但不控制实际微调过程。研究同时考虑 instruction 或 screenshot 中的触发条件，区分正常输入与触发输入。
2. 数据构造把既有 instruction-state pairs 与上下文相关的违规行为类别关联，用 teacher model 生成结构化 reasoning-action examples，再与正常数据混合做标准 SFT，使研究对象是上下文策略学习而非固定输出记忆。
3. 在 AitZ、AndroidControl 上比较 clean model、固定目标 backdoors 和 adaptive 方法，正常能力使用 Action Type Match Rate 与完整 Action Match Rate，触发效果使用 ASR，行为多样性使用 Malicious Category Distribution。
4. 防御评价向 judge 提供 user instruction、GUI state 与 proposed action，分别检查 Malicious Behavior、Instruction Relevance 和 Environment Relevance，报告违反任一原则的 DR@1 与同时违反三项的 DR@3，并分析跨任务域行为。