TInR: Exploring Tool-Internalized Reasoning in Large Language Models

Idea

TInR-U 探索 Tool-Internalized Reasoning：把工具功能、schema 与使用方式编码进模型参数，并以专属 tool tokens 统一推理和调用，使推理时无需把完整工具文档塞进上下文。训练同时解决工具知识记忆与多步 reasoning 的协调，而不仅训练从问题直接输出 API。

Research Problem

常规 TIR 每次依赖外部文档，随着工具增多造成 context 和推理成本上升；先检索工具又引入上游漏检上限。仅将工具编码为 token 仍不足以保留参数细节，也未必能在复杂推理中正确选择和组合工具，因此需要专门的知识对齐与推理训练。

Insight

文档到 token 的识别、token 到文档的重建以及实际任务到调用的映射承担不同作用：分别建立身份、保存细节和连接使用场景。先生成候选工具 token、再生成参数，可降低一次生成完整动作的负担；后续 SFT 和 RL 再把内化知识用于有序推理。

Method

1. 为工具扩展专用词表 tokens，设置 tool_token 与 tool_call 两阶段输出标签。Phase 1 联合优化 documentation→token memorization、token→documentation recall 与 instruction→action usage grounding。
2. 构造 SFT 数据时，为每题提供包含 ground truth、检索和随机工具的候选文档，由强 reasoning model 生成轨迹并按真实调用筛选；把 reasoning 中工具名替换为对应 tool tokens。
3. 以通过筛选的多步轨迹 warm-up 模型，再用 GRPO 优化格式和调用奖励；正确性由工具 token 集合与参数集合的 Jaccard similarity 组成，训练移除 KL penalty 以加快适应。
4. 推理遵循标签协议，交替生成 reasoning、工具选择、参数与后续动作，吸收工具返回直到任务结束；通过 seen/unseen instruction-tool splits 和 BFCL 域外设置分别测工具识别及完整调用。