Towards Robust Real-World Spreadsheet Understanding with Multi-Agent Multi-Format Reasoning

Idea

SpreadsheetAgent 先用 incremental extraction–verification loop 理解 spreadsheet 的结构，再把 verified YAML representation 交给下游 task solver。Extraction agent 可调用 Python、Vision Range Agent 与 LaTeX Range Agent，从局部数值、视觉样式和结构表示中互补获取信息。

Research Problem

真实 spreadsheet 包含 merged cells、hierarchical headers、颜色和区域布局，平铺成文本会丢失解释单元格所需的语义；整表直接输入又容易超过 context budget。论文研究如何逐区域建立可靠 intermediate representation，并在错误结构进入最终 reasoning 前加以发现和修正。

Insight

理解一张表不必一次读完，也不必仅依靠单一表示。Code 适合值与计算，image 适合布局和样式，LaTeX 适合显式 row/column spans；独立 verification 可以针对不确定区域补查。但 verification 仍由模型执行，不构成形式化的正确性证明。

Method

1. Extraction agent 按结构化 prompt 检查 hierarchical headers、sectioning、merged cells 和 formatting semantics，逐步输出 YAML schema，并将 layout 与 row/column meaning 绑定。
2. 通过 Python 执行读取与计算；针对选定 cell range 渲染 image 交给 VLM，或转换为 LaTeX table 交给 LLM，以问答方式提取文本 serialization 难以表达的局部信息。
3. Vision 与 LaTeX verification 分别对照原 spreadsheet 和 YAML，选择复杂或不确定的区域继续检查；Algorithm 1 要求两者均通过才接受，否则把 correction feedback 送回 extraction，直至通过或达到 iteration cap。
4. 将最终结构描述注入 downstream task context；在 SpreadsheetBench 与 RealHiTBench 评价 irregular layout 和 hierarchical headers 的处理效果。部分 baseline 成绩引用既有论文，不能把所有比较都描述为完全相同工具与运行预算下的重新实测。