OctoBench: Benchmarking Scaffold-Aware Instruction Following in Repository-Grounded Agentic Coding

Idea

OctoBench评测repository coding agents在真实scaffold中能否持续遵守多来源指令，将process compliance与任务结果分开观察。每项任务配有原子化binary checklist，完整记录模型看到的system reminders、tool schemas及repository规则，再逐项核验实际行为。

Research Problem

代码测试通过不代表agent遵守了高优先级规则、工具约束或跨轮持续要求。现有instruction-following任务多为显式单轮文本条件，无法捕捉scaffold动态注入、仅在特定动作后激活的约束；只看最终patch也会漏掉执行过程中的违规。

Insight

检查依据必须是模型实际收到的message stream及行为，而不是只用用户起始query。将异构规则转为适用时才检查的原子项，可分别得到整体完全遵从率和部分遵从率；另设受控单对冲突任务，则能观察不同来源的优先选择而不混入大量互相矛盾条件。

Method

1. 将repository policy、skill docs、可选persistent state及辅助材料封装入Docker，分别实例化Claude Code、Kilo和Droid三类scaffold；人工以Activation、Verifiability、Feasibility为准则构造72个seed，再扩展至34环境217项任务。
2. 固定GPT-5.1 reference agent每题运行16次，依据normalized trajectories生成checklist，再合并去重并经human–LLM review、人工抽查和双标注audit形成7098个检查项。
3. 通过proxy logger保存每次模型request/response和tool行为，规范为messages/tools结构并索引assistant turns；judge根据完整轨迹逐项给binary分，使用三个judge平均结果。
4. 只对已激活且适用的检查项计分，Instance Success Rate要求全项通过，Check item Success Rate先算每题通过比例再宏平均；主集保持无冲突，另建32项Conflict子集，每题只注入一对矛盾指令以分析来源优先。