Voyager: An Open-Ended Embodied Agent with Large Language Models

开放环境中的任务互相依赖：获得工具后才能采集更高级资源。若每次都从原始动作重新推理，Context 和尝试预算很快耗尽。Voyager 研究如何让固定 LLM 持续探索，同时把已经成功的行为保存为可执行 Skill，降低之后解决复杂任务的成本。

从 Minecraft 的 Tech Tree 推起：复杂目标可以由较小目标组合，而已完成的小目标往往无需重新设计。程序恰好能封装这种可重用行为。若再根据库存、已完成任务和失败记录选择下一目标，就能让探索难度随可用工具变化。这里仍需验证 Library 中的技能在新环境中是否保持有效。

Voyager 把成功经验存为可执行代码 skill，使学习成果能被检索、组合并用于后续探索。自动 curriculum 负责决定下一步学什么，skill library 负责保留已学内容；model 能力与系统能力由此可以分开观察，后者能在不更新参数时持续积累。

沿用原文采矿任务：Curriculum 根据库存提出获取资源的目标；系统检索相关技能代码，生成新的采集程序，执行后读取环境结果、错误与 Self-Verification。成功程序及其描述进入向量索引。后续更复杂目标可检索并调用它。输出包括实际获得的资源和新 Skill；原文还把已有 Library 带到新 Minecraft World 检验复用。

没有关于开放探索必然持续的定理。核心数据结构可写为描述 Embedding 到代码的映射。检索时用 Query 与每个描述的向量相似度选 Top-k，Model 再据此组合程序。相似度只是候选选择依据，不能保证前置条件满足；库存、地形和环境版本仍决定技能能否执行。

Library = {(embedding(descriptionᵢ), codeᵢ)}
Retrieved = Top-kᵢ similarity(query, descriptionᵢ)
New skill = Generate(task, state, Retrieved, feedback)

Voyager 展示了不改变 Weights 也能积累可复用能力。Library 的增长是明确的持久更新；固定检索、生成与评价流程是否变得更善于改进，需要另行测量。

最脆弱的假设是成功一次的程序可以作为通用 Skill。隐含前置条件可能没有进入描述：同一个采矿函数在工具不足、地形不同或资源缺失时会失败，组合多个技能还会放大这些问题。

改进主要保存在 skill library 和 context 中，不涉及 foundation model 参数更新。