SafeMCP: Proactive Power Regulation for LLM Agent Defense via Environment-Grounded Look-Ahead Reasoning

Idea

SafeMCP 将 agent 安全控制放到 MCP server 侧，在动作执行前预测环境后果，并据此过滤下一步可获得的工具；若当前调用本身预测会进入 unsafe state，则立即阻止。它把减少危险能力暴露与即时拦截结合，而不是只检查工具调用文字。

Research Problem

动态工具获取不断扩大 agent 可影响的环境范围，语义看似无害的操作也可能把系统带入高权限、高风险状态。现有 guardrails 往往只在动作已被选中后拒绝，缺少环境转移视角且容易终止整条任务，无法细粒度保留安全替代路径。

Insight

安全性取决于状态和后续动作集合的组合。作者区分 safe、critical 与 unsafe，将尚未出事但存在危险后续动作的 critical state 单独建模；限制这些工具后，任务 agent 仍可在剩余空间寻找有用动作。理论安全边界建立在理想转移知识与 safety viability 假设上，实际实现依赖预测模型。

Method

1. 用 ToolEmu、AgentHarm 环境轨迹及关键步骤的 adversarial mutations 构建数据，同时训练 next-state prediction 和 future unsafe-state/action prediction，使基础模型学习环境动态。
2. 以 oracle 环境反馈辅助教师构造两千条结构化 reasoning examples，平衡三种状态类别，cold-start SFT 学习先判断状态、再识别需过滤工具的格式。
3. RL 阶段用安全分类的 binary reward、工具集合的连续匹配 reward 和格式约束；工具奖励由 false negatives/positives 经 Smooth Tchebycheff scalarization 与归一化 sigmoid 形成，兼顾漏滤与过滤。
4. 运行时先向 agent 提供过滤后的工具集；收到候选调用后根据历史预测 next state、状态类别及下一步危险工具，unsafe 则返回阻断错误，否则执行并更新历史及后续可见工具。
5. 以 PowerSeeking Bench、ToolEmu 和 AgentHarm 共同评估风险降低、良性任务 utility 与过度拒绝，并用消融检验 grounding 和双奖励贡献。