Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning

Idea

CF-VLA 在 autonomous driving VLA 内部加入 meta-actions → counterfactual reasoning → corrected meta-actions → trajectory 的自我修正流程。模型先明确提出带时间的驾驶意图，再结合视觉场景批评该意图的可能后果，必要时修正后才生成最终轨迹。

Research Problem

现有 reasoning-augmented VLA 多描述看见什么和打算做什么，错误计划仍可配上合理叙述，缺少执行前针对自身 action 的反思。始终开启长 reasoning 又会浪费简单场景计算并增加幻觉，因此还需识别哪些错误真正来自高层意图、在哪些场景值得思考。

Insight

可解释且与轨迹紧密对齐的 time-segmented meta-actions 为反思提供可编辑对象。比较自由预测与填入 expert meta-actions 后的轨迹，可以定位“意图错、但执行解码本可做对”的样本，从而把监督集中到反思最可能带来收益的位置。

Method

1. 用 longitudinal、lateral、lane-level 三组 meta-actions 覆盖 6.4 秒规划区间，每组动作按不重叠时间段表达，如减速后等待或保持车道后变道，使语言计划与连续轨迹的时序对应。
2. Rollout–filter–label pipeline 对同一 scene 生成自由 meta→trajectory 与 ground-truth-meta-conditioned trajectory，各采多个 modes。筛出 pre-filled minADE 更好且自由误差超过阈值的场景，避免给已掌握或低层解码瓶颈场景强加反思。
3. 用 Qwen2.5-VL-72B teacher 解释预测 meta-actions 为什么不如 expert plan、应怎样调整，形成 CF 数据。分阶段训练 trajectory-only、加入 meta-action labels、再混合 CF samples，统一 prompt 下由 Action:/Thinking: 的生成决定是否反思。
4. 训练以 assistant token cross-entropy 为主，对 CF 样本原始错误 meta-action block mask loss，防止模仿错误，并对 meta/reasoning/trajectory token 设权重。更新后的模型重新 rollout 可继续采集新反思样本，评价轨迹误差、安全特征及 think rate。