ReLook: Vision-Grounded RL with a Multimodal LLM Critic for Agentic Web Coding

Idea

ReLook 把网页代码的视觉反馈引入 agentic RL：策略生成代码、渲染截图、调用冻结 MLLM critic 获得诊断并修改，以视觉质量奖励学习反思。训练后的默认推理可移除外部 critic 和截图调用，让视觉监督形成低成本的内部修改能力。

Research Problem

网页代码正确性取决于像素布局与交互，语法通过或文本 critique 无法充分反映视觉失配。一次性 vision-to-code 缺少迭代修正，而直接奖励多轮反思会出现无效渲染、评分投机或策略回避修改，导致训练轨迹不能稳定提供改进信号。

Insight

视觉诊断只有在有效渲染且修改确有评分改善时才构成可靠训练信号。ReLook 将无截图轨迹置零，并只接受 critic 分数严格增加的修改来构建 rollout；这种单调性属于训练 critic 的评分路径，并不是对真实网页质量的保证。独立离线评估器用于减轻训练评分器偏好带来的混淆。

Method

1. 策略产生文本及 HTML/CSS/JS/SVG；遇到 get_feedback 时在 sandbox Chromium 执行，获取加载后及随后两次 temporal screenshots，由冻结 Qwen2.5-VL-72B 返回分数与诊断，再将反馈加入上下文。
2. 每个 query 采样多条 trajectory，以 visual score 和长度惩罚形成奖励；必要截图任一次渲染失败或超时则整条轨迹奖励为零。
3. Forced Optimization 仅接受比当前最好奖励严格更高的 revision；拒绝时重采样，每轮最多尝试十次，否则结束并保留已有最好结果。
4. 使用 GRPO 的组内相对优势更新策略，critic feedback tokens 屏蔽梯度，配合 KL 约束；可加入轻量反馈蒸馏辅助损失学习 self-reflection 风格。
5. 在去重的前端任务上训练，默认测试至多三轮无 critic、无截图的自编辑；用独立 Gemini evaluator、HTML 单元测试和交互 benchmark 分别检验视觉与功能表现。