Graph2Eval: Automatic Multimodal Task Generation for Agents via Knowledge Graphs

Idea

Graph2Eval 将外部文档和真实网页转成 heterogeneous knowledge graph，再从有结构约束的 subgraph 生成 agent 任务。Document tasks 以模板约束实体、关系及推理深度，Web tasks 从可操作控件出发匹配 meta-path，使任务内容与可用数据、页面功能和交互关系相连。

Research Problem

静态 benchmark 扩展依赖人工，也可能混淆记忆与泛化。直接让 LLM 读取杂乱材料编任务，缺少显式 entity–relation modeling，容易产生语义不一致或上下文不足的问题；从静态文档推测网页交互又不能保证实际页面存在相应入口。

Insight

可生成的任务空间应由来源数据的关系与操作结构约束，而非仅由语言模型自由组合。先采样真实存在的节点、边与交互路径，再填充任务语言，可同时调节复杂度并追踪其证据与执行依据；覆盖优化则控制任务池的重复和偏斜。

Method

1. 文档保留 paragraph、heading、table、figure 与位置来源 metadata，网页采集 DOM、截图及导航关系。视觉内容先生成描述，与文本合并 embedding，节点同时保留原有结构路径。
2. 构建包含 sequence、contains、semantic association、reference，以及 navigation、form submission、click trigger 等关系的 KG。文档按语义与结构匹配采样，网页以 button / form / link 为 seed 收集 k-hop 操作上下文。
3. Document template 规定节点类型、数量和 hop constraints，再抽取变量由 LLM 生成问题；Web 根据实际 seed 与 meta-path 组合 Search、Filter、Detail 等步骤，并提供 SoM 页面信息形成具体任务。
4. 以规则或 LLM 做质量与可达性检查，结合节点/关系/页面/难度覆盖、语义和结构相似度，通过 MMR 迭代选择任务。Graph2Eval-Bench 包含 1,002 文档任务和 317 Web 任务，分别评价回答质量、任务完成及生成任务的一致性和可解性。