MedMCP-Calc: Benchmarking LLMs for Realistic Medical Calculator Scenarios via MCP Integration

Idea

MedMCP-Calc把medical calculator评测从给定病历和公式的计算题，扩展为agent主动查询EHR、识别含糊临床目标、选择计算器并执行多步计算的交互任务。MCP连接数据库、搜索和Python，使结果错误能够被进一步定位到证据获取、计算器选择或数值运算。

Research Problem

静态medical benchmarks往往直接提供病人信息或指定calculator，绕过真实流程中最关键的参数查找、用户意图理解和计算器组合。只检查最终数字无法辨别模型是选择了错误评分系统、漏查输入，还是计算本身出错，也不足以衡量通用tool-use agent在复杂EHR中的操作能力。

Insight

把必要输入留在数据库、把任务指令写成自然临床需求，模型就必须先决定需要哪些证据，再建立计算流程。用已有calculator网站核验每个中间输入和输出，可将整体失败拆解为具体能力；这种设计评测的是受控工作站里的任务执行，而不是仅测记忆公式。

Method

1. 在医生参与下建立四大领域125类场景；收集MDCalc、Medscape、QxMD的1970条calculator记录，通过语义去重及人工清理得到1173种，再匹配到场景。
2. 由GPT-5根据候选计算器生成多步workflow，经人工检查调整后自然化为不明确指名计算器的query；建立九表医院式schema，将MIMIC-IV中49419位完整记录患者映射入库，再结合相近病例合成并校验任务记录。
3. 以PostgreSQL MCP提供run_sql、list_tables、describe_tables，以搜索服务器提供search/fetch，以Python服务器完成数值运算；agent在规划、调用、观察之间循环，直到给出答案或达到轮数限制。
4. 逐项人工核查任务、calculator名称、输入与网站参考输出，筛成118项任务；分别统计Task Fulfillment、Calculator Selection、Quantitative Precision及Evidence Acquisition，以执行轨迹和标准输入输出衡量完成、选择、计算与数据获取。