3DrawAgent: Teaching LLM to Draw in 3D with Early Contrastive Experience

Idea

3DrawAgent 用冻结 LLM 将语言或参考图转成 3D Bézier curves，并通过生成结果之间的 contrastive experience 更新外部绘图知识。它不调整模型参数，而是把多视角渲染评分与比较解释转成 prompt 中可复用的空间规则，使之后的单次绘图获得更好的结构和语义一致性。

Research Problem

2D sketch agents 的表示缺少深度、投影及三维连续性，依赖 diffusion/SDS 的 3D 方法又涉及较重优化。开放式绘图缺少唯一 ground-truth sketch，单个 scalar reward 难告诉 LLM 具体应该如何改善 topology、curve continuity 或 object proportions。

Insight

即使没有目标几何，也可以比较两次生成哪个更符合语义，并解释差异来自何种结构。把这种相对判断写成自然语言 experience，可在黑盒 API 条件下改变后续生成行为。它借鉴 GRPO 的相对比较思想，但优化对象是外部知识库，不是通过 policy gradient 更新模型。

Method

1. 定义严格的 sketch language，每条 cubic Bézier curve 包含四个 3D control points，指定 coordinate system、数据格式及少量正确 in-context examples。LLM 规划部件和相对布局，输出完整 curve list。
2. Parser 检查分隔符、数值范围和类型，将曲线交给支持 perspective/orthographic projection 的 renderer。每个 sketch 从多个视角渲染，以图像与 prompt 的平均 CLIP cosine similarity 作为 perceptual alignment score。
3. 从生成候选中组成较好/较差的 contrastive pairs，由同一类 LLM 分析 structural integrity、spatial continuity 和 geometric plausibility，产生 textual semantic advantage，而非数值 group advantage。
4. Experience controller 对知识库执行 Add、Delete、Modify 或 Keep，积累可迁移绘图规则。最终推理将知识与新 prompt 合并，冻结模型一次生成完整 3D sketch；实验用每题五个候选提炼经验、16 个固定视角评价。