TAMAS: Benchmarking Adversarial Risks in Multi-Agent LLM Systems

Idea

TAMAS 为多 Agent 系统建立跨 prompt、environment 与 compromised-agent 三种攻击面的受控 benchmark，覆盖六类威胁、五个业务情景和 211 个合成工具，并同时观察攻击抵抗与正常任务能力。

Research Problem

单 Agent prompt injection 测试无法呈现恶意消息经角色分工、协作或调度传播的系统性失败。只统计拒绝或攻击成功也会把不会做任务的系统误判为安全，因此需要保留无攻击 utility 基线，并区分立即拒绝、迟拒绝和执行失败。

Insight

系统拓扑和角色信任会改变风险传播：集中协调、固定轮次与动态 handoff 可在不同攻击下呈现不同弱点。正常工具与模拟攻击工具使意图是否转化为调用可以检查；ERS 尝试联合 safety 和 performance，但仍是所定义权重及 synthetic scenarios 下的比较。

Method

1. 每个 Education、Finance、Healthcare、Legal、News 情景设置四名有不同职责/工具的 Agent，每类攻击每情景十例，共 300 adversarial instances；另每情景二十条 harmless task，共 100 条，多数任务需要至少两三名 Agent 合作。
2. 定义 DPI、Impersonation、IPI、Single Agent Compromise、Colluding Agents、Contradicting Agents 六类干预，分别作用于用户消息、工具/外部观测或受损角色的 system prompt；部分设置同时提供模拟恶意行为的 attack tools。
3. 在 AutoGen/CrewAI 实现集中 orchestrator 和固定 sequential 配置，并在 AutoGen Swarm 实现动态 handoff 的 collaborative 配置；比较十种 backbone，使模型因素与交互组织可分开观察。
4. 以 LLM-as-judge 结合工具调用检查分 ARIA-1 立即拒绝、ARIA-2 延迟拒绝、ARIA-3 有执行意图但失败、ARIA-4 攻击完成；另在无攻击任务测 Performance under No Attack。
5. 按四类结果加权汇总 Safety Score，再与 PNA 组合 Effective Robustness Score，分析攻击类型、模型和配置之间的安全/效用取舍，避免仅凭低攻击完成率判断可靠性。