ACIArena: Toward Unified Evaluation for Agent Cascading Injection

Idea

ACIArena 以统一接口评测 Agent Cascading Injection：将多种 MAS、不同注入入口和攻击目标组合成可扩展测试环境，观察受损 Agent 的内容如何通过协作传播。基准包含 1,356 个测试实例、28 种攻击和六类 MAS，并提出逐步语义裁剪防御 ACI-SENTINEL。

Research Problem

已有研究常固定一种入口、角色或简化拓扑，容易把系统稳健性归因于网络结构，却忽略角色职责、交互方向与正常任务能力。只看低 ASR 也可能奖励本来就不会完成任务的系统，无法比较攻击传播和效用损失。

Insight

同一拓扑换角色配置可出现明显不同风险，因此需要控制完整协作协议而非只比较连边。恶意信息可能与正常任务紧密结合，孤立识别危险词不足以防传播；保留当前任务必需语义、减少无关指令进入下游，是论文防御的基本逻辑，但裁剪可能损失复杂推理所需上下文。

Method

1. 以 agent 的 policy、profile、memory、tools 和 MAS 有向通信图统一建模，暴露 Adversarial Input、Malicious Agent/Profile、Message Poison 三类干预入口，攻击目标分别为 Hijacking、Disruption、Exfiltration。
2. 从 GSM8K、MATH500、HumanEval、MBPP、GPQA、MedMCQA 选择数学、代码、科学、医疗任务；LLM judge 按复杂度、可分解性、歧义评分，优先保留适合协作且答案可验证的任务。
3. 以人工初始目标启动 generate–mutate–select，黑盒执行候选并按入口自然度及目标达成程度筛选，无梯度优化；将攻击与 benign task 配对，统一接入 MetaGPT、AutoGen、CAMEL、Self Consistency、LLM Debate、AgentVerse。
4. 主实验设一个 malicious agent，分别报告无攻击 pass@1 的 BU、攻击下相同口径的 UA，以及字符串检查或 judge 判定的 ASR；PVI 再结合受损角色到最终响应的最短距离与其 ASR，诊断远距离传播。
5. 控制拓扑与 profile 作对照，并评估 detector、delimiter、sandwich、AGrail、G-Safeguard 等防御；ACI-SENTINEL 在每个 Agent step 后裁剪状态，仅保留完成任务所需的语义信息，联合检查安全收益与效用代价。