LLM-as-Scheduler: Agentic Workflow Dynamic Scheduling

Idea

LLM-as-Scheduler（LAS）在现有 multi-agent workflow 上加入两级 cascade：廉价 gate 先判断中间 artifact 是否值得进一步调度，随后 LLM scheduler 决定继续 verification、test、refinement，或 early exit。它按每个 query 的实际中间结果调整执行路径，减少已经得到可靠结果后仍重复验证的计算。

Research Problem

固定 workflow 对简单和困难请求执行相同的生成、批评、修复和测试阶段，导致 token 与 latency 浪费；但若每一步都调用大模型判断能否停止，scheduler 自身又会抵消节省。论文研究如何以低开销筛选候选，并在节约计算与保留正确率之间进行动态 routing。

Insight

早停机会应由当前 artifact 的质量信号决定，而不只由 query 的静态难度决定。Gate 在这里将有希望跳过步骤的结果交给 scheduler，明显不佳的结果继续原 workflow；因此 gate 不是直接宣告答案正确的最终 verifier。效果依赖 lite judge、阈值和 scheduler 的判断质量，论文报告的是成本与准确率的经验 trade-off，并非无损加速保证。

Method

1. Structured envelope：每个 agent 输出 artifact、validator results 和 step metadata；gate 计算 format/spec adherence、轻量 classifier score、多候选 agreement 以及历史 reliability，按加权分数和阈值筛选。
2. Gate training：用完整 workflow 产生的中间 outputs 及 correctness labels 训练 benchmark-specific DistilBERT lite judge，通过 validation 选择 feature weights 与 gate threshold；无显式格式要求的任务不使用相应 spec checks。
3. LLM routing：对 gate 放行的候选，构造包含任务、risk tier、当前结果、gate features 与可选 workflow nodes 的 prompt；scheduler 返回严格 JSON action/target，orchestrator 据此调用 test、verification、refinement 或 output unit。
4. Fallback 与评估：对非法 route 使用默认路径，对证据不足的高 risk early exit 改送 verification；正文将 LAS 接入 AFlow，使用 Doubao 系列模型，在 HumanEval、MBPP 和 GSM8K 比较 correctness、output tokens 与 end-to-end latency。