GeoMMBench and GeoMMAgent: Toward Expert-Level Multimodal Intelligence in Geoscience and Remote Sensing

Idea

论文同时提出 GeoMMBench 和 GeoMMAgent：前者用跨 geoscience disciplines、sensor modalities 与 task levels 的专家题目评测能力，后者以 plan–execute–evaluate workflow 组织 retrieval、perception 和 reasoning agents，连接通用模型与 RS 专用工具。

Research Problem

既有 remote sensing benchmarks 多聚焦 optical imagery 上的分类、检测或描述，难以覆盖 SAR、LiDAR、DEM 等异构数据，以及 GIS、GNSS 和物理知识驱动的高层解释。单一 MLLM 的知识、感知与推理短板也不能仅靠泛化 prompting 同时补齐。

Insight

领域能力需要按 knowledge、perception、reasoning 分解诊断，并为不同缺口配置不同 evidence sources。更广的 benchmark 能揭示通用模型在专业情境下的系统性失败；tool-augmented orchestration 则将现有专用 RS models 变为可组合能力，而不要求一个模型内部掌握全部任务。

Method

1. 由专家按 disciplines、modalities、tasks 制定知识点并编写 image-based multiple-choice questions；peer review 去除可仅凭文本作答的题目，以及 ambiguity、错误选项或 solution，形成 GeoMMBench。
2. Coordinator 解析 image–query pair，生成包含 subgoals、所需 agents / tools、执行顺序与 dependencies 的 plan，再分发给 specialized agents。
3. Knowledge tools 使用 search engines 与 GME multimodal retrieval，并返回 evidence provenance；perception tools 提供 domain-trained detection / classification / segmentation，reasoning tools 处理复杂解释与中间推理。
4. 聚合 structured outputs 后，self-evaluation 检查 reasoning trace 与原 plan 的一致性，针对问题选择性重执行；tools 通过 MCP interface 接入，支持扩展专用能力。