EvoGraph-R1: Self-Evolving Multimodal Knowledge Hypergraphs for Agentic Retrieval

Idea

EvoGraph-R1 将 Multimodal GraphRAG 的 knowledge hypergraph 视为可被 Agent 修改的环境。Agent 在 graph retrieval、web search、graph editing 和 answer 之间决策，把新 evidence 整合为可追踪的结构，而非仅作为一次性 prompt context。

Research Problem

静态 GraphRAG 容易同时遭遇 text-centric fragmentation、缺失或错误 facts、以及固定 single-pass retrieval。对于需要多跳推理的视觉问题，只在已建 graph 中查询无法补全断裂的链条；搜索得到新事实后若不更新结构，后续 reasoning 也难以复用和校正证据。

Insight

Knowledge retrieval 与 knowledge maintenance 可以放在同一个 interaction loop 中优化。Hyperedges 表达多实体关系，image anchor 保留视觉出处，显式 INSERT / UPDATE / DELETE 又让模型针对当前问题修复知识状态。其关键能力是维护可演化 evidence structure，而不仅是增加 search rounds。

Method

1. 从文本提取 n-ary facts，从图像构建带 image anchors 的 visual hyperedges；经 entity resolution 合并跨模态实体，并用共享 embeddings 建立 retrieval index。
2. 将状态定义为当前 hypergraph、action history 与 query；GRAPHRETRIEVE 访问已有证据，WEBSEARCH 获取外部材料，ANSWER 结束交互。
3. GRAPHEDIT 才提交结构修改：INSERT 添加 facts，UPDATE 修正关系或冲突，DELETE 通过降低 confidence 软删除低质元素；search 本身先获取信息，不自动等同于 graph write。
4. 用 GRPO 训练多轮 policy，trajectory reward 组合 protocol structure、answer token-F1 与 action cost；answer reward 受结构有效性约束，引导模型在正确性和 retrieval / editing 开销间取舍。