DualMirage: Hunting Stealthy Multimodal LLM Agents via CAPTCHAs with Contour and Adversarial Illusions

Idea

DualMirage 将 contour illusion 与受约束 adversarial perturbation 叠加成 CAPTCHA。第一层利用人类整合虚拟轮廓的能力保留可识别对象，第二层尝试诱导视觉语言 Agent 输出目标身份文本，从被动判断答题失败扩展为主动触发可辨行为。

Research Problem

传统 OCR 文字验证码和普通图像识别验证码逐渐能被 MLLM agents 解答，仅凭文本风格或操作行为也难区分拟人自动化。已有轮廓错觉常局限于二值数字、生成成本高或对人类同样含混，需要可批量生成且保持人类可读的视觉挑战。

Insight

人类对全局轮廓的整合与视觉 encoder 的特征敏感性可以成为互补判别来源。Contour distortion 提供认知差异，adversarial layer 再改变模型表征，作者认为两者结合更易破坏模型判断。目标文本被生成本身不证明模型真的披露了可信身份，需区分诱导输出与身份鉴定。

Method

1. 威胁模型假设待检测 Agent 仅经 GUI 交互，网站方控制 CAPTCHA 生成，并分别讨论可访问目标模型的 white-box 与只用 surrogate 的 black-box 条件。
2. 按亮度构建 foreground/background masks，在 RGB 各通道独立设置彩色 square-wave gratings，使前后景相位相差半周期，在 mask 边界形成 illusory contour，并改变方向、周期和色彩生成多样样本。
3. 在 contour image 上加入 L-infinity 有界 perturbation。White-box 目标提高指定文本序列的生成似然，black-box 用多个 CLIP surrogate 对齐图像与目标文本 embedding，再测试跨模型 transfer。
4. 以 Selfie2Anime 的人物轮廓选择题及不同长度 MNIST 数字串识别构建 CAPTCHA，分别比较 human success、agent blocking 与目标输出诱导成功，检验颜色、轮廓与扰动组合的作用。