MTSQL-R1: Towards Long-Horizon Multi-Turn Text-to-SQL via Agentic Training

Idea

MTSQL-R1 将 multi-turn Text-to-SQL 改写为在数据库与持久 dialogue memory 中运行的 Agent 训练问题。模型不仅提出 SQL，还要执行、检查执行反馈、检查跨轮语义并自我修正，再提交答案；通过 self-taught SFT 与 curriculum RL 学习完整恢复轨迹。

Research Problem

逐轮直接翻译问题无法充分利用前文实体和条件，生成的 SQL 即使可以执行，也可能丢失用户沿用的约束。单纯最终 EX/EM 奖励又难指导长链中间动作，需要同时解决可执行性、对话一致性与长 horizon 的训练稀疏性。

Insight

数据库执行反馈和 memory verification 提供互补信号：前者暴露错误或空结果，后者检查查询是否维持跨轮条件。作者以含修正过程的自生成轨迹建立动作基础，再按题目成功率安排 RL 难度。这里的验证是模型判断与 gold SQL 对齐所构成的训练机制，不能等同于形式化证明用户意图。

Method

1. 将状态定义为历史对话、schema、当前问题、memory、候选 SQL 与执行观测，动作包括 PROPOSE、EXECUTE、E-VERIFY、M-VERIFY、SELF-CORRECT、FINALIZE；执行和两类检查构成有失败回路的控制流程。
2. SFT 逐题采样 20 条轨迹，仅保留最终 SQL 符合 gold 的样本；容易题偏选短轨迹，困难题保留多次交互轨迹，并以 embedding 聚类选择代表样本。迭代训练并移除已获得高质量轨迹的问题。
3. RL 前按多次 rollout 的 EX/EM 成功次数分层，剔除全部成功的题目，分成由易至难的连续训练批次；模型输出 token 参与训练，指令、执行结果等环境 token 被 mask。
4. 奖励组合最终执行结果匹配 EX、严格文本匹配 EM，以及 SELECT、WHERE、JOIN、GROUP、ORDER 的 clause F1；提出和修正动作、执行判断、memory 判断各贡献过程分量。加权后形成轨迹总奖励，GRPO 的组内归一化 advantage 仍分配给该轨迹的全部模型 token。
5. 以 SParC、CoSQL 的多轮任务比较不同规模模型及训练阶段，利用 EX/EM 和长短交互设置检验最终查询正确性与恢复能力。