Conjunctive Prompt Attacks in Multi-Agent LLM Systems

Idea

本文研究多 Agent 流程中的 conjunctive prompt attack：用户输入中的 trigger 与某个受损远端 Agent 的模板分别单独不触发异常，但经过分段与路由后在同一远端汇合，才激活目标行为。研究以受控系统比较不同拓扑和防御的组合盲点。

Research Problem

单输入检测通常孤立检查 user prompt 或远端 wrapper，无法看到跨组件组合条件。多 Agent 的 segmentation 与 stochastic routing 决定两部分是否相遇，所以只研究单模型 prompt injection 会遗漏系统层的条件性激活。

Insight

安全边界需要考虑消息传播与组合后的语义，而不能以各部分单独看起来正常推出整体正常。本文实验里的成功由输出特定 marker 判定，提供可复现的组合激活证据；它不是现实系统已经执行敏感工具或泄露数据的直接测量。

Method

1. 形式化一个 client 分段、随机 dispatcher 路由、多个黑盒 remote Agent 的环境，仅一个远端含注入模板；模型权重与 client 逻辑固定，攻击配置涉及触发所在分段、模板相对位置及路由偏置变量。
2. 定义活跃条件为携带 trigger 的 segment 到达受损 Agent 并与其模板共同作用；分别测试 clean、key-only、template-only、both 四种 regime，用前三者的低激活率检查是否为真正的组合依赖。
3. 以可微 counterpart 估计到达概率与模板有效概率的乘积，添加配置约束和探索项，在连续松弛上优化后转为离散配置，再在黑盒 Agent 系统中验证；该优化不需要目标模型梯度。
4. 每个配置运行多次随机 episode，记录路由、远端原始输出及精确 marker 匹配；比较 star、chain、DAG 拓扑、优化与非优化配置，及不同 guard/tool restriction 防御下的激活和误触发。
5. 分析 routing alignment 对成功率的作用，提出防御应跨组件追踪消息来源与联合上下文；结论依赖所定义的随机路由和受损远端模板设置。