EGSS: Entropy-guided Stepwise Scaling for Reliable Software Engineering
Idea
EGSS 将软件修复的 test-time scaling 拆为按步骤不确定性分配搜索预算,以及跨轨迹合并测试后选择补丁。其重点不是无差别生成更多完整候选,而是在关键工具决策处分叉,并把各条轨迹产生的调试证据转化为共同的可执行验证标准。
Research Problem
重复采样或均匀树搜索会在读取、编辑等近乎确定的步骤上浪费计算;最终候选选择又常依赖单个 judge 或各自生成的测试。作者发现许多失败轨迹已经做过自我验证,说明单一路径可能陷入 self-deceptive debugging,测试成功并不能暴露其他推理路径识别出的缺陷。
Insight
工具选择 entropy 在轨迹中高度不均匀,少数高熵节点更值得探索。与此同时,不同候选的调试过程包含互补的边界条件和回归需求;聚合这些需求可改善选择,而不必把每条轨迹仅视为一个最终补丁。
Method
- Dynamic Stepwise Search 计算当前状态下工具分布的 entropy,在高不确定性决策处进行重点扩展;辅助 LLM judge 根据任务、轨迹、rubric 和下一动作在线评估分支。
- 搜索评分结合动作 log-likelihood、judge 反馈及长度归一化,对 partial trajectories 排序并保留 top-K 路径,产生多样候选补丁和对应轨迹树。
- Test Consolidation Augmentation 从整棵树提取调用调试工具的节点,TestConsolidationAgent 联合仓库上下文生成统一测试套件;TestEvaluationAgent 通过 bash 工具逐个执行,按 pass-rate 阈值过滤补丁。
- 对通过测试的候选,由多个 PreferenceSelector 独立结合仓库上下文选择,再 majority vote 得到最终补丁;实验同时报告实际 resolved percentage、候选 oracle 表现与 token 成本。
Sources & Reading Scope
阅读依据:官方 PDF 正文。核读页码按 PDF 页序计数,可能与 proceedings 页码不同。
p. 1 · p. 3 · p. 4 · p. 5 · p. 6
核读章节:Preliminary · Tool Use Entropy Heterogeneity · Self-Deceptive Debugging · Dynamic Stepwise Search · Test Consolidation Augmentation
核读经验分析、搜索评分和测试合并 Algorithm 1。entropy 与关键决策的联系是作者经验解释;统一测试提高覆盖但不构成补丁正确性的形式证明。