On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning

Idea

TT-VLA 在一个部署 episode 内持续更新 VLA：用预训练 progress estimator 比较动作前后任务进度，直接以进度增量驱动 value-free PPO，并用 LoRA 快速适应当前环境，作为既有 SFT/RL policy 的附加适应阶段。

Research Problem

固定 VLA 面对物体移动、视觉变化和新语言条件时不能中途修正其参数；稀疏终局成功奖励来得太晚，而单个 episode 的数据和时间不足以可靠学习 critic 或反复采样完整轨迹。

Insight

对当前动作是否推动任务的密集反馈，可在尚未完成任务时提供更新信号，省去训练 value function 的样本负担。该方法主动采用即时进度而非长期 return；“无外部监督”指推理时不需新增人工标签，仍依赖事先训练好的 VLAC progress model 和其准确性。

Method

1. 将机器人任务表为 POMDP，输入 RGB/本体观测和语言指令，预训练 VLA 输出末端位姿增量及 gripper action；部署期间不用原训练集或通过环境 reset 搜索候选。
2. 每次执行后，VLAC 根据观测历史与指令回归 0–1 task progress pt，以 rt=pt−pt−1 构造密集 reward，使推进得到正信号、回退得到负信号。
3. 从 PPO 中去掉 value regression 和 entropy regularization，保留 clipped policy surrogate；设置一步形式，直接令 advantage=rt，不拟合长期 V，也不做多 rollout group comparison。
4. 用新交互更新 LoRA 参数，再以更新政策决定后续动作；实验使用 rank 16/32、AdamW 与 clip 0.2，在固定 160 步 horizon 内执行适应循环。
5. 在 ManiSkill3/WidowX 上测试 execution、vision、semantic shifts，含中途重定位物体，并在 Franka Research 3 测九个未见 pick-and-place 任务；对多个 SFT/RL VLA backbone 比较适应前后成功率。