SQL-Trail: Multi-Turn Reinforcement Learning with Interleaved Feedback for Text-to-SQL

Idea

SQL-Trail 把 Text-to-SQL 训练目标从一次输出查询转向 reason–execute–observe 多轮过程，使模型能主动查值、试探 schema 并根据真实 SQL engine 的报错修正。两阶段训练同时学习交互格式、最终正确性和有预算的探索行为。

Research Problem

single-pass SFT/RL 即使加强内部 reasoning，也不能利用数据库实际内容与执行反馈来消除列名、值和 join 歧义。直接对小模型做多轮 RL 又容易遇到格式错误、提前调用或循环；只奖励最终执行正确会让有限数据下的大多数轨迹获得相同零分。

Insight

数据库反馈可以把抽象推理变成可检验的中间操作，而多项规则奖励能在最终失败时仍区分语法、schema grounding 和交互行为。先蒸馏可靠的工具使用结构，再用 group-relative RL 学习探索，可以降低训练初期无效 rollout 的比例。

Method

1. 采用 ReAct-style SQL engine 接口，每轮生成 reasoning 与 SQL，执行后返回结果、错误或截断 dataframe；模型输出 solution 或达到 turn budget 时结束，训练时每个问题采样 6 条轨迹、最多 10 轮。
2. 从 Spider 问题生成教师多轮轨迹，筛出 1,000 条最终正确、偏中高难度示范，对 Qwen2.5-Coder 做 SFT。RL 使用 1,027 个问题，包括 700 个 hard-but-solvable 难度平衡样本和 327 个持续失败的探索样本。
3. 采用去掉 KL 项的 GRPO，并提高上侧 clipping 范围以鼓励原本低概率的有益探索。总奖励以最终执行一致性为主，加入与难度相关的轮数奖励、schema 与 bigram Jaccard、语法和接口格式奖励。
4. 分别用 greedy Pass@1、8 次采样的执行结果 majority vote 和 Pass@k 评测；Spider 衡量同分布表现，未参与训练的 BIRD 与 Spider 变体考察迁移和语言鲁棒性，并以每千训练样本的 EX 增量定义数据效率。