Proof-of-Perception: Certified Tool-Using Multimodal Reasoning with Compositional Conformal Guarantees

Idea

Proof-of-Perception（PoP）把多模态推理编译为 perception/fusion DAG，并让每个节点输出经过 split conformal calibration 的候选集合。Controller 根据逐节点 uncertainty 和剩余预算决定接受、提高观察质量、增加工具或弃答，将可靠性信号直接用于计算分配。

Research Problem

单次 VLM、multimodal CoT 和一般 ReAct/program-of-thought 往往过早提交单个 OCR 字符串、box 或数值，后续推理难恢复早期感知错误。固定 retry 规则及只校准最终答案不能指出哪一步证据不稳，也不能有针对性追加成本。

Insight

保留多个仍合理的中间候选，能把感知歧义显式传给后续融合。Conformal set size 等信号又提供重试依据。正文的 marginal coverage 依赖 calibration/test exchangeability，有限候选生成、集合截断和自适应分布变化需要区别于无条件整条推理正确保证。

Method

1. 将输入图像和问题生成 CALL_TOOL、FUSE、RETURN DSL，由 deterministic interpreter 检查语法与无环性并构造 DAG。工具节点执行 OCR、detection、layout/chart parsing，fusion 节点组合父节点证据。
2. 为 OCR-string、det-box、chart-value、logic-text 等节点训练 nonconformity head，利用真实中间标注或 teacher/heuristic pseudo-labels。Calibration split 按类型取分位数阈值，筛选候选形成 set-valued output。
3. 按拓扑顺序执行，controller 观察集合、节点类型、上下文与 cost，选择 ACCEPT、RETRY、EXPAND 或 ABORT。Retry 使用更高分辨率或不同参数，expand 添加局部工具，结束时输出 answer set 及可选单答案。
4. 联合 task、planning、certificate 与 controller objectives，离散 controller 用 policy gradient 权衡错误和计算成本。周期冻结 adversary 副本产生布局、crop、OCR noise 等 counterexamples，训练 student 并补充 calibration pools。