VIGIL: Defending LLM Agents Against Tool-Stream Injection via Verify-Before-Commit

Idea

VIGIL 用 verify-before-commit 保护 tool-using agent：从可信用户请求建立 intent constraints，允许在不执行动作的假设空间中探索候选路径，再分别检查约束一致性和与用户目标的关系，只有通过验证的路径才能提交。配套 SIREN 将工具定义和运行反馈也纳入 injection attack surface。

Research Problem

外部工具 docstrings、schemas 与 error messages 往往被模型当作操作规范，攻击者因此可以伪装依赖或恢复步骤。仅过滤网页/邮件内容忽略了这层权限混淆；冻结初始计划虽限制偏离，却可能在 API 故障或工具替换时失去任务完成能力。研究问题是保持动态恢复同时限制不受信任信息改变授权范围。

Insight

环境反馈可用于提出下一步假设，但不应成为授权该动作的依据。将候选生成与动作批准分开，并让批准回到原始 user intent，可保留 replanning 的灵活性；结构约束检查与语义必要性判断分工，也让 verifier 的任务比整体执行提示更集中。

Method

1. Intent Anchor 仅从用户 query 生成 abstract workflow sketch 与 immutable logical invariants，例如任务领域和允许操作类型；这些约束作为后续检查的固定基准，不根据外部工具消息直接扩权。
2. Perception Sanitizer 将工具说明、数据和反馈改写为客观功能或状态描述，剥离命令语气、紧迫性等指令成分。Speculative Reasoner 根据清理后的材料生成多个候选 trajectories，并为动作提取 operation type、来源和 information flow 等 metadata。
3. Grounding Verifier 先检查 metadata 是否满足 invariants，再用独立的 semantic entailment assessment 判断候选是否服务于用户目标；两项通过后才 commit，失败则 reflective backtracking，成功路径进入 Validated Trajectory Memory 供后续复用。
4. 在 AgentDojo 基础上扩充工具库、加入冗余工具及随机失败，构成 SIREN 的 959 个 tool-stream cases 与 949 个 data-stream cases；同时衡量 benign utility、attack success rate 和完成用户任务且抵御攻击的 utility under attack。