Evolving Agents

Idea

EVA 用 quasi-symbolic abstractions 统一 reasoning、memory 与 meta-control：把经验表示为 variables、transitions、constraints 和 outcome signals，由 Perceptor 构建、Actor 据此行动、Controller 决定继续、重新抽象、检索或 rollback。经验以可重新绑定到当前环境的结构保存，成功路径和可定位的失败都能用于未来决策。

Research Problem

直接保存自然语言 trajectories 容易把可复用的决策机制与具体实体混在一起，导致 agent 在相似任务中重复错误，也难以协调 memory retrieval 和 reasoning recovery。论文研究如何抽取跨情境可用的结构，并让 agent 在执行与后续学习中共同改进这些结构及生成它们的模块。

Insight

可迁移经验需要保留 preconditions、transitions 与失败原因，而不仅是成功答案。失败记录只有能通过 feedback 或 verifier 定位到某个 transition 时，才应转成 avoidance constraint；否则保留为 episodic evidence。Controller 的 rollback 主要恢复内部解释与 context，不能自动撤销外部动作，这使 reasoning repair 与真实环境 recovery 的边界保持明确。

Method

1. Abstraction 与 control：Perceptor 将近期 observation-action-feedback 转成 typed structure；Controller 读取 sequence-confidence proxy、constraint contradiction、novelty 与 progress，选择 ACT、ABSTRACT、RETRIEVE 或 ROLLBACK。
2. Memory grounding：按结构相似度检索 abstractions，通过 Bind 将其中 roles/states/constraints 映射到当前实体；成功经验提供 reusable transitions，可定位失败提供 avoidance constraints，结果作为 Actor context 的一部分。
3. Memory utility：记录 abstraction 后续被实际绑定和使用的成功或失败次数，结合 recency discount 计算 utility；达到最低复用证据量后才允许 pruning，避免尚未被充分尝试的记录立即被删除。
4. 两阶段学习：先通过带临时 inner-loop adaptation 的 outer-loop policy gradient 校准 Controller；交互阶段冻结 Controller，full EVA 用 GRPO 在 episodes 之间更新 Actor 和 Perceptor adapters。另有 frozen-weight EVA-Doc/EVA-M 等配置，实验比较交互任务、retrieval 和 mid-episode distribution shift。