Stop Fixating on Prompts: Reasoning Hijacking and Constraint Tightening for Red-Teaming LLM Agents

Idea

JailAgent 研究保留原始用户 prompt、改动 agent memory/retrieval 与候选选择过程的 red-teaming。它利用 shadow model 定位高贡献语义触发点，再以动态合成数据训练轻量 reranker，并约束触发表示，使误导性记忆更可能影响后续行为。

Research Problem

依赖固定提示改写的攻击通常受任务格式与目标模型变化影响，也可能明显破坏正常结果。agent 的外部记忆和中间候选选择提供另一种信任边界，但需要分析哪些输入语义对决策重要，以及如何在不同任务中适配这种干预。

Insight

不改变用户可见指令并不等于不改变 agent 的决策证据：若攻击者控制外部 memory store，可以围绕关键语义提高污染内容的检索与选中概率。把 trigger importance、retrieval geometry 和 context-dependent ranking 分别建模，能研究该路径的贡献。

Method

1. 威胁模型允许攻击者写入少量 memory instances，但不访问核心 LLM；用有 logprob 的本地 shadow model 近似决策分布。WordPiece 与 dependency parsing 对齐短语，先按 group masking、再按 token masking 的 logprob drop 和近似 KL 定位高贡献片段。
2. Data Factory 按当前 context 合成 poisoned/benign candidate pairs；冻结 SentenceTransformer encoder，仅训练两层 MLP scoring head，用 pairwise ranking loss 学习上下文相关的候选偏好，再对生成候选评分选择。
3. 将 trigger embeddings 归一化，联合 particularity、clustering、separability 和 margin 目标，约束其与正常簇、污染条目的距离及检索区分性，用于增强跨场景稳定性。
4. 在 VideoAgent、ReAct-UALA 与 EHRAgent 的八个任务数据集比较，分别报告污染检索 ASR-R、日志模型判定 ASR-L、人类审阅 ASR-H，以及任务准确性和连续完成指标，分析攻击效果与正常功能的关系。