Cross-Domain Demo-to-Code via Neurosymbolic Counterfactual Reasoning

Idea

NeSyCR 将 video-to-robot-code 看作 cross-domain procedure adaptation：先从 demonstration 建立 symbolic world model，再针对 deployment environment 做 counterfactual reasoning，修正不再可行的步骤，最后生成可执行 code policy。

Research Problem

示范与部署可能在 object affordance、障碍物、robot kinematics 或 gripper 上不同。直接复现视频中的 action sequence 会破坏 preconditions，局部替代动作也可能产生后续冲突；VLM 看出外观差异，并不等于能验证修改后的完整程序仍满足 task goal。

Insight

可迁移的对象应是 demonstration 中的 causal dependencies，而不是表面的动作顺序。将 procedure 表示为带 preconditions / effects 的 symbolic operators 后，可以显式定位 domain shift 破坏了哪条依赖，再让 VLM 提议修复、symbolic tool 检查一致性。逻辑可验证性仍以抽象 state 与 operator 的准确性为前提。

Method

1. VLM 将 demonstration keyframes 转换为 grounded scene graphs，汇总 objects 与 predicates，并从相邻 symbolic states 推断动作的 preconditions 和 effects。
2. 使用 STRIPS-style world model 与 symbolic tool（例如 VAL）进行 forward simulation；若预测 transition 与示范不一致，要求 VLM 重新生成 operator，直到得到一致的 procedure。
3. 把 deployment observation 映射为 counterfactual state，沿原 procedure 模拟，检查未满足的 preconditions 和预期 effects，定位需要适配的步骤。
4. VLM 通过插入、替换或移除动作探索修复方案，symbolic verification 持续检查 causal consistency；达到目标 symbolic state 后，将 adapted procedure 编译为调用 robot APIs 的 code policy。