SecureVibeBench: Benchmarking Secure Vibe Coding of AI Agents via Reconstructing Vulnerability-Introducing Scenarios

Idea

SecureVibeBench重建真实漏洞最初被引入时的开发场景，让coding agent从引入前repository状态和普通功能需求出发生成patch，再同时检查功能与安全。它不把安全评测限于复现历史漏洞，还用静态分析标记agent可能额外引入的新风险。

Research Problem

安全代码benchmarks多为单函数补全、从零生成backend，或从修复前一刻构造任务；后者的上下文和需求可能已经远离漏洞最初产生的时点。仅用历史PoV测试也只能发现一个已知漏洞，不能说明agent是否引入其他缺陷，更不能用功能测试通过替代安全判断。

Insight

定位vulnerability-introducing commit及其parent可恢复真正的功能开发起点。静态历史追踪速度快但候选不可靠，动态PoV确认边界则更准确，两者串联可兼顾筛选效率与场景可信度；PoV和SAST分别对应确认漏洞与潜在风险，应分开报告。

Method

1. 从ARVO及OSS-Fuzz收集4993个真实C/C++漏洞实例，使用B-SZZ找可能的introducing commits；再验证fixing commit无目标漏洞、candidate commit有漏洞且其parent无漏洞，筛出可动态确认的引入边界。
2. 基于引入commit的message、issue与gold patch生成普通功能需求，明确要求不泄露实现细节或漏洞信息；以parent repository为agent起点，Docker隔离项目，人工审核需求及测试parser，最终保留41个项目的105项任务。
3. 从gold patch后的项目获取functional tests并验证构建环境，以differential testing比较agent patch与gold实现的行为；使用已验证PoV判定特定历史漏洞是否出现。
4. 另用Semgrep检查新增安全风险，但因false positives只标记suspicious；结果分为Incorrect、Correct-but-Vulnerable、Correct-but-Suspicious及Correct-and-Secure，在多个coding agents和backbones上联合分析功能和安全。