PEAP: Proactive Embodied Action Sequence Planning with Joint Understanding of Vision and Audio Perception

Idea

PEAP构建同时需要视觉、背景声音和文本任务描述的主动具身行动规划评测，要求模型从场景与声音的联系推断是否需要帮助及合理行动方向。它将sound event而非仅语音文字作为决定因素，并保留无需行动的案例，避免把主动性简单等同于总要采取措施。

Research Problem

多数embodied planning任务由明确用户指令触发，已有主动助手又常只看文本或屏幕；音频经常只充当语音输入，环境声中表达需求或事件的线索被忽略。缺少联合视听的评测，使模型能够识别单个模态却误判场景需求的问题难以被发现。

Insight

同一声音在不同视觉场景中可能意味着不同协助需求，因此评测需要逻辑相关的scene–audio配对，而不是把两种识别准确率独立相加。开放的行动序列可以有多种合理解，故reference应描述总体帮助方向，由分项评价检查感知与帮助是否共同成立。

Method

1. 从SUN397、MIT67、Places365抽取场景图像，与UrbanSound8K、FSD50K、ESC-50的audio类别人工配对，并加入Ego4D和VGGSound中自然同步的视听内容，保证声音在场景中具有合理出现可能。
2. 用带ground-truth labels辅助的JoyCaption和AudioFlamingo3生成构建用caption，再由DeepSeek筛选需求方向清晰的样本并标注协助内容；专家可接受、拒绝或修改，最终得到122场景、19963样本。
3. 要求输出Movement、Manipulation、Conversation三类结构化action sequence；标注给出协助方向而非唯一动作串，也包含no-action-needed案例，使多个符合需求的方案可以被接受。
4. 以Scene Recognition、Sound Events Recognition、Assistance Provide及Overall评估；用人工标注约6K评价样本LoRA训练judge，三judge一致则接受，否则人工裁决。比较caption→text cascade与端到端multimodal模型，测试caption阶段不提供ground-truth labels。