ChipSeek: Optimizing Verilog Generation via EDA-Integrated Reinforcement Learning

Idea

ChipSeek 将 Icarus Verilog、Yosys 和 OpenROAD 的反馈直接接入 RTL 生成 RL，以 hierarchical rewards 同时学习格式、语法、功能、可综合性和 PPA；CDPO 在各奖励独立归一化之后组合 advantage，并随掌握程度调整基础奖励权重。

Research Problem

常规 SFT 倾向生成能工作但 PPA 较差的 Verilog，外部反复改写优化又没有把硬件取舍纳入模型能力。语法和功能是 PPA 评估前提，奖励尺度及学习难度不同，直接合成一个标量容易造成干扰并浪费昂贵 EDA 时间。

Insight

先通过必要约束再评估物理指标，使训练反馈既有层次又节省计算；在 advantage 空间分开标准化可以减少 power/delay/area 与二元奖励的尺度差异。随着语法等成功率升高，降低对应权重，把学习重心移向功能与用户偏好的硬件目标。

Method

1. 从在线 Verilog 仓库筛语法有效代码，用 DeepSeek-R1 生成设计说明和 CoT，构成 cold-start SFT；GPT-5 生成多测试用例 testbench，验证 code/testbench 对，并通过 NanGate45 流程提取 reference PPA。
2. 模型按设计说明生成 reasoning 和 RTL，依次执行 Syntax→Function→Synthesis→PPA 门控；某阶段失败则停止后续评估并置后续 reward 为零。格式单独检查，功能通过全部 test cases 才得分。
3. PPA 对 power、delay、area 分别计算 reference/generated 比值；在训练 prompt 添加如 low_power 等优先级，赋予总和为 1 的 preference vector，让指定目标占最高权重。
4. 每题采样一组完成，对每个 reward component 单独计算组内标准化 advantage；process 权重由全 batch 成功率的补数产生并 EMA 平滑，function 权重固定，PPA 按 prompt preference 加权，最后相加进入 clipped policy objective。
5. 用 29,127 条 SFT 与 8,453 条 RL 样本训练多种 7B code model，并排除 benchmark 内容；EDA 任务并行加 fail-fast 降低成本，比较功能与 PPA 以及单目标偏好控制。