RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation

Idea

RSMeM 为 remote-sensing agent 同时提供 task-level domain guidance 与 instance-level corrective experience。前者来自专家整理的 hierarchical knowledge base，后者来自同一实例先前失败轨迹的 reflection；两路信息进入 ReAct prompt，帮助 agent 修正领域概念、tool selection 和执行顺序，并在重试过程中更新 memory。

Research Problem

通用 LLM 即使能生成合法 tool calls，也可能混淆 remote-sensing variables、使用不适合的分析流程，导致局部错误逐步传递。固定专家 workflow 缺乏灵活性，而普通 memory 又未必保留领域知识和明确修正方案。论文研究如何连接离线知识与在线 failure traces，改善多步骤工具执行和最终答案。

Insight

Domain guidance 解释任务应该怎样做，failure reflection 解释这一次为什么没做好，两者提供不同粒度的约束。正文中的 Failure-Aware Memory 使用 deterministic instance-indexed lookup，主要指导同一实例后续 attempts，不能直接描述为跨任意新任务的 semantic experience retrieval。无 ground-truth 的 symbolic critic 也只是识别若干可见失败模式，并不保证检测全部语义错误。

Method

1. Knowledge base：专家将 geoscience knowledge 整理为 3 domains、12 subdomains 和 64 atomic tasks，每个 Task Card 包含 title、domain definition 与 execution suggestions。
2. Dual-stream grounding：Hierarchical Knowledge Grounding 结合 sentence-embedding cosine similarity 和 title/domain-keyword/content 的 lexical bonuses 检索 Task Card；另一条 stream 取当前 instance 最新的 reflection，连同 query 拼入 agent prompt。
3. Failure processing：symbolic critic 通过 missing answer tags、empty output、invalid options、refusal/incompleteness 与 hedging 等 heuristic rules 识别问题；GeoTraceCompress 对 list/dictionary tool outputs 截短，保留完整 reasoning 并提高 errors 的保留预算。
4. Experience refinement：同 backbone 的 Reflection Generator 读取 query、domain guidance 与压缩 trace，生成包含 diagnosis 和 corrective plan 的短 reflection，写入该 instance 的 memory 供下一轮使用；在 Earth-Bench 比较 tool-use trajectory、outcome、efficiency 与 HKG/FAR ablations。