Paper2Figure: A Multi-Agent Collaborative System for Figure Generation Towards Academic Research Paper

Idea

Paper2Figure 以 FigScript 作为论文说明与可编辑图形之间的中间表示，由 generation agents 生成初稿，再由 refinement agents 查看实际渲染图并修改同一份结构。最终图可在 web editor 通过自然语言或直接拖动继续修订，避免把输出锁定为不可编辑像素。

Research Problem

直接 SVG/Mermaid 生成虽然保留结构，却容易出现布局僵硬、线路混乱与视觉质量不足。Text-to-image 可以提供风格，但文字、箭头语义和复杂模块关系不稳定，也难精确局部修改。科学图要求信息正确、结构完整和视觉可读同时成立。

Insight

FigScript 把 nodes、edges、containers 和 styles 提升为语义可操作对象，让语言模型围绕模块与关系修改图，而不是处理冗长低级绘图坐标。实际 render 是独立反馈界面，能够暴露文本代码层面未必明显的重叠、对齐和可读性问题。

Method

1. Generation subsystem 中 Plan Agent 提取 entities、processes 与逻辑关系，安排模块层级和 flow direction；Module Agent 建立 FigScript 节点、容器、标签和边；Layout Agent 调整 alignment、routing、spacing 与 grouping，再确定性渲染。
2. Refinement subsystem 由 Critic Agent 阅读渲染图识别位置、文字、色彩及杂乱问题，Refine Agent 生成结构化修改计划，Edit Agent 更新 FigScript 并重新渲染。默认只做一轮 refinement，若无问题提前停止。
3. Web editor 将 Conversational Panel、Live Canvas 与 FigureScript Inspector 连接到当前共享状态，用户可让 Agent 改名称或位置，也可直接编辑图形，后续自动修订继续使用该状态。
4. 构建 100 个学术主图及经人工核验的文本描述，比较 code/image baselines 与有无 refinement。评价以 Accuracy、Beauty、Completeness 等权组合，Completeness 先仅看图生成 reverse caption 再与目标描述比较，并用人工评分检查自动指标相关性。