ModularAgent: A Task-Aware Modular Framework for Joint Optimization of Multimodal Large Language Models and World Models

Idea

ModularAgent 在 latent representation 层联合训练 MLLM 与 RSSM world model，通过 task-aware modular fusion 将语义特征送入 imagined rollouts，再把 task-conditioned behavior objectives 反馈到语义表示。它面向多任务控制与跨环境迁移，重点是语义意图和 dynamics 的双向适配。

Research Problem

MLLM 擅长理解多模态目标，但缺乏可执行的环境动力学；world models 能预测和控制，却对高层语义和跨域任务泛化有限。单向 connector 难让两种表示共同适应当前任务，固定融合结构在不同语义与动力学需求下也可能发生干扰。

Insight

不同任务对语义抽象与物理状态的依赖不同，融合比例应由 task embedding 逐层调节。除将语言先验送入 world model，还应让 imagined behavior 的目标一致性参与表示训练，使模型学习的 latent space 同时服务预测和控制，而非仅作模态映射。

Method

1. Task encoder 将文字目标编码为 task embedding，MLLM 编码时序视觉 tokens，RSSM 根据观察、前一 latent state 和 action 更新 dynamics state。先投影拼接特征，再送入 Task-Aware Modular Fusion。
2. 每层包含 semantic adapter 和 dynamics adapter，由 task-conditioned sigmoid gate 连续加权其残差贡献，层叠后生成统一 latent representation，供重建、预测与 policy 使用。
3. 在 fused latent space 中让 policy 采样动作、world model 推进 imagined states。同时把 task embedding 映射到同一空间，用 text-imagination model 构建任务参考轨迹，对齐两种 transition distributions，并计算任务一致性 dense reward。
4. Joint objective 包含 RSSM prior/posterior KL 与 observation reconstruction、MLLM visual reconstruction/cross-modal alignment，以及带时间折扣的 Joint Behavior Optimization。实验在 DMC 的 Cheetah、Walker、Quadruped、Stickman 离线数据上评估多任务与迁移。