Timely Machine: Awareness of Time Makes Test-Time Scaling Agentic

Idea

Timely Machine 用 wall-clock time 重新定义 agentic test-time scaling，让 agent 根据剩余时间与实际 tool latency 调整 reasoning 和 interaction。论文同时提出 Timely-Eval 与 Timely-RL：前者覆盖不同 latency regime，后者通过 time-aware demonstrations 和 reward 学习在 deadline 内分配计算。

Research Problem

当 agent 调用训练模型等慢工具时，generated token 数与总完成时间脱钩，固定 token budget 无法表达真实成本；当前模型即便知道 deadline，也未必相应改变策略。论文要回答在不同工具延迟下，应增加交互轮数还是提高单轮质量，以及能否把这种 time awareness 学进 policy。

Insight

小模型的快 inference 只有在工具反馈足够快时才能换来更多探索；tool latency 占主导时，模型之间可执行轮数接近，单轮决策质量变得更关键。作者因此把 inference time 与 tool execution time 共同作为状态反馈，而不是假定更长 reasoning 一定对应更有效的时间投入。

Method

1. Timely-Eval 包含可人为设置 action delay 的 Jericho text games、由训练执行主导的 MLEBench-Lite tasks，以及配 timer tool 的 general reasoning；先估计平均 latency，再用其倍数设定时间预算。
2. Cold start 蒸馏不同 time budget 下的 reasoning traces 和前 50 步 game interactions，并混合 DataScience-Instruct 数据做 SFT；限制 game demonstration 长度，以让后续探索仍需策略学习。
3. RL 每轮反馈 inference time 与 tool execution time，并缩放 inference time 模拟不同设备速度；模型据此调整 reasoning、tool call 与终止时机。
4. 超时 reward 为 0，按时但错误只得固定 format/timeliness reward；按时且正确再得 accuracy 与正弦形式的 time-utilization bonus。该 bonus 随已用时间占比上升，鼓励有效使用预算，不能误写成对更短 latency 的直接奖励。