Powering Verifiable Learning via Automated Evolutionary Data Synthesis

Idea

EvoSyn 不仅合成 problem 和 solution，还生成多个 executable testing artifacts，并用演化得到的 ranking program 选择更有区分力的 tests。少量带人工 checks 的 seed data 用于评价 ranking strategy 是否可靠，随后该 strategy 被用于新任务的数据合成与过滤，产出可支持 RLVR 和 model distillation 的训练实例。

Research Problem

Synthetic data 的 verifier 自身也会出错：测试可能接受所有候选、遗漏边界或错误拒绝正确解。只用一个 LLM judge 或领域专用 heuristic 很难同时确保可靠性与可迁移性。论文研究如何从 solution-test execution matrix 中学会选择有效 checks，减少手工编写不同任务过滤规则的依赖。

Insight

Verifier 的质量体现在能否区分不同水平的 solutions，而非通过率越高越好。用 human-annotated seed tests 检查演化策略的排序行为，能够为 synthetic verification 提供外部锚点。但 EvoSyn 适用于 correctness 可由 executable artifacts 判定、且 artifacts 可在未知正确解时编写的任务；有限候选上的 consistency 不是对所有未来程序的完备性证明。

Method

1. Seed evaluation：对带人工 testing 的问题生成多份 solutions 和候选 tests，执行交叉检查；策略输出 ranked solutions/tests，评估要求 top solution 通过人工 checks，并要求最好和最差 solutions 在选中 tests 与人工 tests 上行为一致。
2. Strategy evolution：用 MAP-Elites 与 island populations 保存候选 ranking programs；LLM 参考 parent 和 elite programs 生成代码修改，执行 evaluator 后把得分与程序写回 population，兼顾效果及多样性。
3. Data synthesis：以 seed examples 引导生成新 problems，去重后为每题生成 M 个 solutions 和 N 个 tests，运行 M×N 次检查，再用演化策略排序；Zero-Variance Pruning 去除无法产生排序差异的实例。
4. Downstream learning：保留 problem、selected checks 及强 candidate solutions，分别用于 RLVR reward 或 distillation 数据；在 LiveCodeBench 与 AgentBench-OS 比较 random filtering 和其他验证策略，并分析候选数量带来的合成成本。