SOAR: Supervision from Observation for Agentic Reinforcement Learning

Idea

SOAR 把 tool-returned observation tokens 也纳入训练，为其分配由前一步 action certainty 调节的正优势；原本的 reasoning/action tokens 仍接受 outcome-based GRPO 信号。这样 agent 不仅学习哪些行动成功，也学习行动后的环境响应。

Research Problem

常规 agentic RL 将环境输出视为纯上下文、mask 掉其梯度，即使 observations 占据搜索轨迹大部分 token，也没有直接学习信号。作者诊断发现动作 entropy 降低时，模型对 observation 的不确定性反而上升，说明动作自信未必伴随对后果的理解。

Insight

观测是昂贵交互得到的额外监督，预测这些内容可帮助策略内化工具行为；但全部等权学习可能放大噪声。用同一轨迹中 action entropy 的相对水平调整观测权重，强调模型较确定动作的后续反馈，并避免跨任务 entropy 尺度不同的问题。

Method

1. 将 ReAct trajectory 分为 thought、action、observation spans，记录每个 action 的平均 token-distribution entropy，并分析训练中 action/observation entropy 和 token 占比，确定原有 mask 造成的监督缺口。
2. 对轨迹内各轮 action entropy 做均值、标准差归一化，将其负值经 sigmoid 转为 certainty weight；使用 stop-gradient，使这个权重仅控制辅助监督，不通过权重本身反传。
3. 对模型生成 tokens 保留组内 outcome reward 标准化优势；对每段 environment observation tokens 加上由前一 action certainty 缩放的正优势，强度由 λ 控制。观测并非策略采样动作，而在这里作为辅助学习目标。
4. 使用覆盖所有 token 的 clipped importance-sampling objective 与 KL regularization 优化策略，归一化分母也由 policy tokens 改为全部 tokens；在 reasoning、search-intensive 等不同任务上比较结果，并消融 observation weighting 对工具错误与低效使用的影响。