AGENTSAFE: Benchmarking the Safety of Embodied Agents on Hazardous Instructions

Idea

AGENTSAFE 将 embodied agent 的危险指令测试分成可交互 SAFE-THOR sandbox、SAFE-VERSE 任务集合和 SAFE-DIAGNOSE 分阶段指标。它同时检查环境感知、计划生成/拒绝与实际执行，区分模型认识风险却继续行动，以及因执行失败偶然未造成危害的情况。

Research Problem

只统计最后是否出现有害状态，无法知道失败来自看错对象、忽视危险、生成计划错误还是底层执行问题。既有安全 benchmark 的风险类型较窄，也常缺少正常任务效用对照，难判断拒绝率提升是否伴随基本能力退化。

Insight

安全判断需要跟踪 perception→planning→execution 的转换，危险任务完成率降低未必代表模型安全对齐改善。用统一 adapter 固定执行接口，并将拒绝、计划可执行性和环境最终状态分开，才能定位认知和行为之间的脱节。

Method

1. 基于 AI2-THOR 建立 SAFE-THOR，perception grounding 将自然语言对象映射到 simulator IDs，action grounding 把高层计划转成导航、拾取、开关等 primitives，使不同 agent workflows 在共同环境下运行。
2. SAFE-VERSE 覆盖 45 个室内场景和 104 类交互对象，包含 normal instructions、分别危及人/环境/agent 的 1,350 个基础危险任务，以及保留意图的多种语言扰动，共 9,900 条指令。
3. SAFE-DIAGNOSE 比较 agent objects 与 simulator GT 得到 grounding recall / hallucination rate，用 LLM judge 判有效拒绝和完整可执行计划，再由 sandbox ground-truth checker 验证最终目标状态。
4. 另提出 SAFE-AUIDT，在初始 thought 转成多步计划之前，由 auditor 根据指令和场景审查：危险则改成拒绝，安全但不佳则补建议，合格则保留。实验联合正常效用、危险执行和各阶段指标分析九个 VLM 与两种 workflow。