ReCoQA: A Benchmark for Tool-Augmented and Multi-Step Reasoning in Real Estate Question and Answering

Idea

ReCoQA 将房地产问答组织为跨结构化房产数据与地图工具的 benchmark，提供 29,270 条问题及 intent、slot、SQL、API 参数、中间结果与答案。配套 HIRE-Agent 将语义理解、计划、数据库查询和地图推理分工，检验跨源、多步骤任务能否完成。

Research Problem

传统 Text-to-SQL 数据主要覆盖静态表查询，地图或通用工具 benchmark 又不充分涉及房产属性与地理条件的联合约束；单条最终答案无法定位失败来自意图识别、schema 选择、工具参数还是跨步推理。

Insight

房地产需求天然把价格、社区属性与通勤或周边设施联系起来，因此数据和工具必须共享社区、POI 与坐标。作者通过完整执行链验证答案，并用中间标注定位错误；其可重复性来自缓存真实 API 返回，不能将评测表现理解为不断变化的在线地图环境表现。

Method

1. 收集中国八城社区及六类 POI，由专业人员标注属性并用 Amap 地理编码；每城构建社区、POI、3km 内 POI—社区和 1km 内社区—社区等 PostgreSQL 表。把地图接口整合为时间、距离、周边 POI、早晚高峰四类高层函数。
2. 以 16 种信息需求、41 个模板生成 45,040 条候选，覆盖静态 SQL、SQL+API、结果上再推理三类问题；用 Qwen2.5-72B 改写语言并保留 slot，通过模型与人工抽样检查自然度。
3. 执行唯一 Amap 请求一次并缓存真实返回，使正式工具调用可查询本地数据；验证有序 SQL/函数轨迹并过滤执行失败或不合理实例，得到 29,270 条。标注 16 类 intent、19 类 IOB slot，按模板分层作 8:1:1 划分。
4. HIRE-Agent 的 BERT 前端提取 intent/slot，Supervisor 生成步骤并派给 Database Interaction 或 Map Reasoning specialist；综合返回证据，在错误或无法完成时重规划、重分派或修改参数，达到步骤上限则报告失败。
5. 数据库 specialist 先生成理想表 caption，以 BM25 检索实际 caption/schema，再利用五个示例生成并执行 SQL；地图 specialist 根据问题、slot 和坐标选择函数、执行缓存工具并比较结果，缺失坐标或无法解析的返回交回 Supervisor。