BioTool: A Comprehensive Tool-Calling Dataset for Enhancing Biomedical Capabilities of Large Language Models

Idea

BioTool 为 biomedical tool calling 构建可微调数据，覆盖 NCBI、Ensembl、UniProt 的 34 类工具与 124 个 endpoints。它先从可执行且有生物意义的调用生成真实风格问题，经信息支持检查与人工修订，再训练小模型作为专门 API caller 为主 LLM 提供证据。

Research Problem

生物数据库使用专门 identifiers、参数语法和接口约束，通用 tool datasets 覆盖不足，而少量 in-context 示例无法教会大量复杂使用情境。即使输出语法合法，返回内容也可能空白、与问题无关或没有足够生物意义，因此需要端到端的数据质量筛选。

Insight

从先验证过的 API observations 反向生成 query，使监督目标和可获得证据直接对应；再检查返回内容是否支持用户意图，减少仅学会合法调用而未取到相关事实的样本。小 caller 与最终回答模型分工，也使专门接口知识可以独立训练和复用。

Method

1. 人工筛选常用、稳定且相关的数据库工具，收集官方 API documentation，并选择 taxon IDs、gene symbols、accessions 等关键参数，随机组合候选调用。
2. 实际执行候选，剔除错误、timeout 和 empty responses；启发式去掉过度相似或无生物意义的返回，形成有效调用池。
3. 以 API、documentation、observation 和人工 few-shot examples 提示 o3 先概括结果再生成自然问题，避免直接暴露接口；另用 Claude judge 检查 observation 是否提供相关事实或支持性摘要。
4. 具 bioinformatics 背景的人工审校者删除低质量问题并修订术语与措辞，得到 7040 query–API pairs，按四比一随机划分用于 SFT 与 held-out evaluation。
5. 评估真实执行后的 observation similarity，MedCPT embedding 衡量与参考事实相近程度，另报告 API success/EM；将 caller 取回的 observation 交给 base LLM 并以专家评价下游回答。