RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository

Idea

RepoGenesis 把代码生成评测提升到从 README 构建完整 web microservice repository，要求模型同时交付代码、配置、依赖与启动能力。通过黑盒 API tests 分别衡量功能正确、API 覆盖和部署成功，揭示“能启动”与“业务正确”的差距。

Research Problem

函数或类级生成不测架构与跨文件一致性，issue-fixing benchmark 已提供现成工程骨架，也无法代表从零实现服务。完整微服务需要协调认证、数据库、错误处理和 API contracts，现有评测对这些 0-to-1 能力覆盖不足。

Insight

高层需求应被转换成外部可观察的 contracts，以黑盒执行评价实现自由度较大的完整系统。部署、接口覆盖、整套测试通过是不同层面的质量，联合测量才能避免把基础设施完善误判为功能完成；测试本身则需要多方审阅与人工处理分歧。

Method

1. 整理 Python/Java 微服务需求，结合可部署的 GitHub 项目与专家撰写需求的补充场景；去掉实现，只提供包含 API 输入输出、认证、错误与运行约束的 README。总计 106 个任务，划分 76 个训练与 30 个 Verified 评测 repositories。
2. 为 API compliance、error handling、edge cases 和 integration 生成黑盒 tests，经三模型独立 blind review、refinement 和人类 Area Chair 仲裁迭代改进；Verified 集人工排除歧义需求及不稳定测试。
3. agent 或 IDE 从空目录生成源码、配置和 dependencies，sandbox 部署后执行测试。Pass@1 对应一次候选整套测试通过，AC 测要求的 endpoint 功能覆盖，DSR 测能否部署初始化。
4. 按代码量、cyclomatic complexity、文件、API 与函数/类等指标划难度，比较 agent scaffolds 与商业 IDE；训练集采用自动分歧丢弃流程，另用于 fine-tuning GenesisAgent-8B，检验该任务资源的学习价值。