UniDataBench: Evaluating Data Analytics Agents Across Structured and Unstructured Data

Idea

UniDataBench 评测从高层业务目标出发、联合 CSV、SQLite、NoSQL 与文本发现 insight 的数据分析 Agent；它以真实行业报告的结论为起点合成可分析数据，并提出 ReActInsight 先发现跨源连接、再规划和执行分析的系统。

Research Problem

已有 benchmark 多询问单个明确答案或限于 CSV，难检验 Agent 能否把开放分析目标拆成问题、发现异构数据关系并形成有证据的总结。真实报告又通常不公开敏感原始数据，因此不能简单把公开结论配上真实完整数据库。

Insight

将报告 insight 与支持它的数据构造分开，可以保留业务逻辑并获得可重复评测。对于 Agent，先建立字段与样例值的共同目录再产生 join hints，能把跨源关系显式传给代码生成器；这仍是启发式候选连接，并非保证正确的 schema matching。

Method

1. 专家从真实业务报告提取 Trend、Comparison、Extreme Value、Attribution 四类 insight，再抽象为高层目标并独立交叉验证；LLM 依据领域背景生成多源 schema，人工检查并加入无关但合理的干扰字段。
2. 生成 Python 脚本合成结构化数据，另以目标信息扩写模拟文本；专家核看可视化以确认目标 insight 可发现。最终 100 个任务、223 文件、439 个 insight，按所需格式数量分为单格式、双格式和三至四格式难度。
3. ReActInsight 对各数据源采样 schema、类型和示例，文本形成 pseudo-schema；全局字段别名构成 MetaGraph。类型相容字段按名称精确匹配与样例集合 Jaccard 的加权分数连成 EntityGraph，并选择最高分连接生成 join hints。
4. ReAct 层次规划把目标拆成子目标和可执行问题；将 join hints 注入 SQL/Python 生成，在 sandbox 执行，依据原代码、错误和子目标自我修正，并按任务生成时间序列图、散点图等证据。
5. 汇总各步结果形成 insight 和报告，简单任务用较小模型、复杂或反复失败任务升级模型。评测给各 baseline 相同原始格式访问能力，以 G-Eval 评估 insight 与 summary。