Evo-Attacker: Memory-Augmented Reinforcement Learning for Long-Horizon Tool Attacks on LLM-MAS

Idea

Evo-Attacker 将针对 LLM multi-agent systems 的 tool-return 安全测试建模为带动态经验记忆的长期 RL 交互。它学习何时干预、何时保留预算，并从历史成功测试中检索可迁移模式，以研究局部不可信工具输出如何影响最终系统结果。

Research Problem

静态 prompt-injection 模板和针对单一网站的攻击方法难以适应不同 agent topology、tool schema 与任务；多 agent 后续处理也可能消解孤立异常。系统失败往往在多轮之后才可见，因此仅逐次优化修改文本无法处理时机选择与长程策略之间的联系。

Insight

工具通道的信任会沿协作过程传播，安全研究应把干预置于完整任务上下文并评估最终失败。作者以经验检索提高跨情境复用，以终局奖励训练整段决策；但其 credit assignment 是广播相同 episode outcome，并非能精确识别每步因果贡献的独立奖励。

Method

1. 在 gray-box 威胁模型下只观察一个目标 agent 的工具请求与返回，不能读取 agent 内部状态或 inter-agent messages，并对可替换返回次数施加预算。
2. 从零样本探索开始，将经任务结果验证的失败 episode 存入 memory，条目记录任务配置、工具交互和修改过程，形成可增长的经验库。
3. 策略根据当前调用与历史产生检索 query，检索相似经验后评估是否适用，作继续检索、跳过或干预决策；具体修改由独立 return modifier 按策略指令执行。
4. Attack-Flow GRPO 以系统最终失败加格式/预算约束构成 episode reward，在同任务多次 rollout 间标准化并广播到攻击策略生成 tokens；环境返回与受测 agents 的 tokens 不参与损失。
5. 在 flat、chain、hierarchical 协作结构和代码、研究、网页任务中比较无攻击与受干预性能，并做记忆、优化和迁移分析。