MirrorCAPTCHA: Wild CAPTCHA, Wild Distribution, Wild Web-based Platform Meet Multimodal LLM Agents

Idea

MirrorCAPTCHA 将 CAPTCHA 处理作为 web agent 的独立交互能力评测，同时考虑类型覆盖和遇到不同类型的概率。它用网页图随机游走估计权重，以 Weighted Pass Rate 衡量完整解决能力，并用 Completion Degree 描述部分完成程度。

Research Problem

通用 web-agent benchmark 往往跳过验证码，既有 CAPTCHA 测试又常局限于少量合成样式或单一图片识别，不覆盖 OCR、拖拽、旋转等真实交互。对所有类别简单平均，也可能与 agent 实际浏览时面对的类型分布不同。

Insight

验证码类型的出现概率与承载它的网站有关，评测应把类型多样性和分布权重分开处理：每类保留足够题量以获得稳定统计，再按估计访问概率加权。严格通过率之外，任务专属的部分分数还能区分识别、定位与操作接近成功的程度。

Method

1. 从 Common Crawl 图选高连接度候选，检查可访问性后保留 10,000 个网站，限制 agent 在站内登录/注册等流程探索，识别 2,095 个部署 CAPTCHA 的站点。收集截图并人工标注，多数题来自真实网站。
2. 在相关网页子图上执行随机游走估计站点访问分布；以 CLIP embeddings 和 K-means 聚类，经人工修订、细分得到 18 类，将站点概率汇总为类型权重。
3. 构建 1,000 题，每类保留 50 或 100 个样本以避免尾部过稀；WPR 按类别正确率乘访问权重求和。12 类另计算 CD，分别用 F1、Levenshtein distance、顺序匹配或角度距离衡量部分表现。
4. 提供浏览器与 computer-use 评测平台，并以规则模板结合字符、视觉、prompt pools 生成约 370k 训练样本，加入少量 computer-use trajectories，对 Ovis2-8B 做 SFT，检验专门训练能否提高多类型交互能力。