JARVIS or Ultron? A Survey on the Safety and Security Threats of Computer-Using Agents

Idea

这篇survey以CUA的Perception、Brain和Action架构为共同坐标，把内部能力缺陷与外部攻击分开，再将防御机制、评测环境及指标映射到相应威胁。核心贡献是建立跨OS、GUI、web与device-control agents的安全分析框架，而非提出一个新的训练算法。

Research Problem

CUAs同时读取多模态环境、维护memory并实际操作系统，风险不只来自恶意prompt，也来自grounding、规划、context和API错误。已有安全研究分散于不同平台与攻击类型，防御常针对局部威胁，缺少把来源、受影响组件和评价方式连接起来的统一视角。

Insight

同一种不安全结果可能来自内部能力不足，也可能是外部主体利用交互接口触发，因此威胁应同时描述来源与传播/执行位置。用共同组件坐标映射防御，可看出哪些层受到保护、哪些威胁缺少覆盖；评价还必须同时考察任务效用、过程错误及攻击后的行为。

Method

1. 从arXiv、Semantic Scholar、Google Scholar、OpenReview检索2022年以来研究，keyword阶段获得700余候选，删除重复及与CUA安全/防御无直接关系的工作，最终选择124篇深入分析。
2. 按来源Environment、Prompt、Model、User，以及受影响的Perception、Brain、Action整理威胁；内部类包含grounding、scheduling、misalignment、hallucination、context length、社会文化、latency及API错误，外部类覆盖adversarial inputs、injection、memory、backdoor等风险。
3. 将14类已有防御按目标组件和对应threat映射，包括环境约束、输入验证、defensive prompting、数据清理、训练、输出监控、模型检查、cross-verification、memory适应、审计和拓扑控制等，讨论组合防护需求。
4. 整理web、mobile、tool-use及混合环境benchmark，区分task/step success与ASR、policy-compliant completion、refusal、leakage等指标，并比较rule-based、LLM-as-judge和人工评测的可扩展性与盲点，据此归纳未来研究方向。