ZoomEarth: Active Perception for Ultra-High-Resolution Geospatial Vision-Language Tasks

Idea

ZoomEarth 以低分辨率全图获取地理场景，再自主决定是否、在哪里 crop，并从原始超高分辨率图像回读局部细节。论文同时建立 LRS-GRO，为 global/region/object 三个尺度的问答提供区域标注，把 active perception 的过程质量纳入训练和评价。

Research Problem

Dynamic resolution 或 token pruning 仍主要被动处理输入，提升分辨率时冗余也增加。遥感图像目标小且密集，普通 OCR/自然图像工具数据难覆盖。直接用 bbox IoU 做 RL 又会在预测离目标较远时全部归零，难教会模型先接近有效区域。

Insight

地理对象具有空间关联，即使当前 crop 尚未与目标重叠，接近目标区域也可能是有价值的学习方向。Region-Guided reward 根据中心距离提供密集信号，与 IoU 的精确重叠目标互补，同时保留 global questions 不必裁剪的判断。

Method

1. 人工标注具有可辨空间描述的 region/object boxes，再把全图和分级 crop 交给 GPT-4o 生成 QA，人工筛选平衡答案，并补注带 localization reasoning 的 CoT。LRS-GRO 包含 17 类问题、1,224 张高分辨率图和 13,245 个 QA。
2. 以 Qwen2.5-VL-3B 做 SFT，学习工具调用格式、遥感领域语义以及不同任务尺度的裁剪需求。输入先为降采样全图，若输出 ROI bbox，就从原图取高分辨率局部重新输入后作答。
3. 用 GRPO 优化策略，reward 汇总 bbox IoU、由预测与 GT 中心距离构造的 sigmoid Region-Guided reward、答案词语相似度及小权重格式项，使远离目标的早期预测也获得相对方向信号。
4. 评价除 VQA accuracy 外报告 APO IoU，需 crop 的任务若无有效 bbox 则记零。作为下游扩展，预测的 ROI 也可传给 segmentation、denoising、cloud removal 与 image editing tools，无需重新训练这些工具。