Closing the Spatial Execution Gap in Digital Whiteboards via Verifiable Reinforcement Learning

Idea

论文以 Whiteboard-8 将白板上的空间操作转为有确定性奖励的任务，训练小型 VLM 按 Identify–Reason–Verify 协议计算几何约束并输出可执行 JSON。其改变是把视觉理解后的精确坐标与 schema 合规作为直接训练目标。

Research Problem

通用模型能描述图形，却可能无法把语言意图转换成坐标、对象 ID、连接关系和合法 API 操作；仅扩大模型或模仿固定布局，不能可靠解决空间执行错误。需要既能区分语法与几何问题、又能反复生成训练场景的可验证环境。

Insight

白板 DOM 提供精确对象属性，使几何正确性可用距离、IoU、角度与集合关系检查，不必仅依赖语言评判。将结构化空间推理与实际执行奖励联合优化，可把检查和计算习惯写入小模型，而多 agent 反馈可先找到稳定的提示协议。

Method

1. 在 TLDraw 中把 observation 定义为 screenshot 加 serialized JSON object list，action 必须符合白板 schema 且执行无错误。构建连接线、标注、视觉重心、迷宫、异常删除、遮挡、图邻接和箭头对齐八类任务。
2. 为各任务写确定性 accuracy reward，例如端点到中心距离、文字是否在边界内、重心偏移改善、墙体零 IoU、邻接 precision/recall 和方向角余弦。format reward 检查 think/answer、Identify–Reason–Verify 结构、最低 reasoning 长度与 JSON。
3. Questioner 提供任务与反馈，Solver 每题生成 3 个候选，按格式和准确性选最好结果；Optimizer 汇总失败统计，默认两轮更新全局指令，用 600 个样本发现训练协议。
4. 以 Qwen2.5-VL-3B 为策略，在 6,000 个程序生成场景上做 GRPO，使用组内标准化奖励与 KL 约束；训练、验证和测试用不同随机种子。基线也使用相同优化提示及 few-shot 示例，以比较额外 RL 的效果。