Seeing as Experts Do: A Knowledge-Augmented Agent for Open-Set Fine-Grained Visual Understanding

Idea

KFRA 将 fine-grained recognition 扩展为 knowledge-augmented reasoning：先生成开放类别假设，再查找其辨别性知识，把知识落实到图像区域，最后跨对象整合证据回答。贡献同时包括用于六类细粒度理解任务的 FGExpertBench，使评测超出单标签分类。

Research Problem

固定 taxonomy 的分类器不能覆盖开放类别，也难回答性别、行为、用途或多个相似对象间的关系。通用搜索 Agent 虽可获得知识，若检索和推理相互独立，就可能只根据类别描述作答，未确认该特征是否真实出现在当前图像中。现有 fine-grained benchmarks 对属性、动作与专家知识推理覆盖不足。

Insight

细粒度知识的价值在于指出应观察什么。把检索结果拆成可定位的 morphology、color 或 behavior cues，可由视觉证据支持或否定类别假设。全局到局部观察和证据置信度反馈使检索、grounding 与推理形成可修正的循环，无需为每个细分类别重训模型。

Method

1. 用 Grounding-DINO 检测实体，通过 Google Lens 获取相似图像及描述，MLLM 为每个对象生成带置信度的候选类别，建立开放的 hypothesis space。
2. 从 Wikipedia 等文本知识中提取每个候选的 discriminative attributes。基于 VisionReasoner 的 focusing module 先用语义相似度粗定位，再以 patch-level attention 细化区域。
3. 若特征定位置信度不足，用 OseDiff 增强最相关区域并重新定位。把候选类别、知识、属性、masks 与置信度组成 evidence tuples，交给 MLLM 联合推理，低置信度结果触发前序阶段重试。
4. FGExpertBench 从既有细粒度类别和网络图像出发，经 GPT-4o 识别相关专业领域、专家校正知识范围并审核 QA，构建 300 张图像和 1500 个问题，覆盖识别、属性、动作、计数、分析和知识推断。