Experience Transfer for Multimodal LLM Agents in Minecraft Game

Idea

Echo 将 Minecraft agent 的记忆从被动存放旧轨迹，改成主动寻找可迁移规律的 Contextual State Descriptor（CSD）库。经验按 structure、attribute、process、function、interaction 五个轴组织，In-Context Analogy Learning（ICAL）检索相似案例、提出尚未执行的新任务，再用实际执行验证类比。

Research Problem

只检索相近成功轨迹辅助当前规划，难说明哪些因果、结构或材料规律可迁移到新目标。开放环境中的状态转移与作用机制不同，表面相似不能保证动作有效，MLLM 自由类比又可能产生不可执行的计划或虚构规律。

Insight

可迁移经验不只是完整 action sequence，而是对象布局、属性替代、过程依赖、功能和交互反馈之间的对应。将这些维度显式保存并检索，可让类比有具体依据；但推断出的新 recipe 仍是待验证候选，成功执行才应写入长期记忆。

Method

1. CSD 用 metadata 加 struct、attr、proc、func、inter 六部分统一环境状态、视觉描述和执行历史，同时保留 symbolic content 与 embeddings。先通过结构化任务、轨迹和 verifier feedback 做 instruction tuning，提高 CSD 格式与一致性。
2. 将成功任务写入长期库，离线执行 consolidation、清理、去重与聚类。选择近期学会或代表性任务，按五轴语义相似度检索 top-K exemplars，形成类比上下文。
3. 参数冻结的 MLLM 根据这些例子提出新任务 action sequences，并生成 hierarchical plan 与 self-verification assertions；pre-checker / verifier 检查资源、位置、逻辑一致性和可行性。
4. 执行器落实计划并记录 observation，失败进入日志和 error recovery，成功则更新任务管理器与长期 CSD。循环进行经验积累、规律抽取和主动 task discovery，在 from-scratch object unlocking 中测学习速度。