Visual Inception: Compromising Long-term Planning in Agentic Recommenders via Multimodal Memory Poisoning

Idea

Visual Inception 将多模态 agent 的攻击面从当前输入扩展到长期记忆：用户上传的图像可以被存储、在未来相关查询中检索，并持续影响推荐规划。论文同时提出 CognitiveGuard，在图像入库时做 perceptual sanitization，在检索使用时做 counterfactual verification，分别处理污染内容的进入与后续影响。

Research Problem

既有 visual prompt injection 主要研究当次交互的即时偏转，难以刻画图像被保存后跨回合潜伏、检索和激活的风险。另一方面，仅检查最终推荐是否出现攻击目标，不能确认偏转是否由记忆污染造成；防御若仅依赖输入图像与净化结果相似，也可能保留原本携带的恶意语义。研究因此关注受限上传权限下的长期规划影响及其可归因评测。

Insight

长期记忆把图像的视觉语义与未来检索连接起来：污染内容不必立即改变行为，只需在相关查询到来时被召回并进入规划上下文。作者据此区分 Dormant、Activation、Hijacking 与 Persistence 阶段。相应防御需要同时考察内容是否偏离良性参考，以及移除该记忆是否显著改变规划；后者提供影响证据，但仍依赖模型与语义相似度代理，并非严格因果保证。

Method

1. 建立黑盒上传威胁模型：攻击者不能直接修改 memory bank 或内部推理，通过公开 surrogate encoders 研究图像视觉相似性、目标概念对齐与未来检索倾向之间的关系，随后观察污染记忆在多回合推荐中的激活和持续影响。
2. CognitiveGuard 的 System 1 对每张上传图像执行 diffusion purification；停止判断结合历史良性图像的参考中心与多次净化后的 embedding 稳定性。新用户使用公开类别参考，避免将输入本身作为唯一可信锚点。
3. System 2 在查询时移除被检索的候选记忆并重新规划，以 Sentence-BERT 比较原始与反事实输出的 divergence，同时用 LLM 判断记忆和任务的语义关联。Adaptive strategy 控制该验证的调用，上传净化仍对所有图像执行。
4. 在 ShopBench-Agent 的电商、室内设计和旅行会话中比较攻击及防御。GHR 统计输出级目标命中；ASR-M 进一步要求反事实与 clean control 支持记忆归因，并辅以 stealth、持续回合等指标。分别讨论一次性入库处理与查询开销，防御效果以这些实验条件下的结果解释。