SafeAgent: Safeguarding LLM Agents via an Automated Risk Simulator

Idea

SafeAgent 通过自动风险模拟生成安全对齐数据：先构造容易诱发危险行为的指令与历史，再在同一决策点用 trial-reflection 搜索安全动作，最后把该行为监督内化到模型。其重点是训练期模拟交互风险，减少部署时依赖额外监控代理的成本。

Research Problem

工具代理的风险不只来自恶意问题；正常但模糊的指令、工具返回的环境陷阱及累积历史都可能触发越界动作。普通对话 safety alignment 难覆盖这种条件依赖，既有防御又可能局限于单一领域、依赖人工确认或增加每次推理延迟。

Insight

危险动作是否发生取决于 instruction-trajectory pair，而不是孤立指令。将风险分解为 Outcome、Trigger、Scenario，可从预期危害反向生成场景，再在真正即将失误的位置提供正确行为监督，避免必须在真实系统收集危险执行数据。

Method

1. OTS 定义风险后果 O、触发后果的不安全动作 T，以及由用户指令和历史交互构成的场景 S；将主工具、辅助工具和可能风险结果组成 toolkit-outcome pairs。
2. Generator 根据工具组合与风险生成多样指令；代理与 LLM simulator 逐步交互，Evaluator 在每次动作前判断安全性，发现不安全动作时保留该动作之前的 instruction-history 场景。
3. 对风险场景反复采样下一动作；若 Evaluator 认为不安全，Reflector 分析失误并引导修改，直至找到安全动作或达到反思上限，形成 scenario-safe action 数据。
4. 将场景序列化为输入、通过审查的安全动作作为目标，以 negative log-likelihood 微调模型；作者在 ToolEmu、SEDA 及真实终端任务上检验安全表现与泛化。