MMSciCode: Real-world Evaluation of Multilingual Multi-Discipline Scientific Research Coding

Idea

MMSciCode 从真实论文和其代码库中挖掘核心科学算法函数，要求模型结合论文段落、公式及周边代码补全实现。624 个问题覆盖六大学科、38 个主题和 Python、C/C++、R，并提供逐题容器与专家测试。

Research Problem

常规函数题常集中单语言或算法技能，不能检验模型是否把科学定义、数学推导与工程接口同时实现。直接从 repo 随机挖函数又可能只测胶水代码或依赖记忆，因此需要专家定位论文核心方法与真实代码之间的对应关系。

Insight

以 paper–code alignment 确定被遮蔽的核心算法，同时保留必要上下文，可以把任务困难集中在科学概念到实现的转换。容器和单元测试使结果可复现，但测试通过提供的是所覆盖输入下的功能证据，而不是整篇研究结论被完整复现。

Method

1. 从 ICLR 2025 oral/spotlight 与 2024 年起 Nature Communications 搜集有公开代码的论文，按领域分配给 21 名具研究编码经验的标注者；筛除结构差、无法对应核心算法或混合语言的项目。
2. 专家识别论文中的公式、模型或创新算法，利用 AST 定位对应函数，提取相关原文上下文；必要时把松散代码封装为有参数和返回值的函数，清除目标实现并给出功能描述。
3. 为每题配置独立 Docker 依赖环境，构建常规、边界和特殊输入测试，并确认原始 reference function 全部通过；双专家核查算法与科学合理性，排除缺乏领域难度或依赖过重实例。
4. 模型收到 masked function、周边代码、论文段落/公式和关键实现要求；自动只替换被遮蔽区域，在保留原项目结构的容器中执行测试，并记录输出、运行时间和资源，对照参考实现。
5. 评测多种 foundation model 与两种 Claude Code 配置；另按每学科五题抽取 30 题，由对应领域专家在 closed-book、open-book 和可见参考的 oracle 条件下作答，为人机差距提供有限样本对照。