Spec-o3: A Tool-Augmented Vision-Language Agent for Rare Celestial Object Candidate Vetting via Automated Spectral Inspection

Idea

Spec-o3 将稀有天体候选复核建模为 astronomer-aligned spectral inspection：代理读取光谱总览，自主选择波长区间重新绘图，再把局部线形证据与文本判断交替积累。它针对候选筛选后的高混淆 vetting 环节，提供可审查的判别过程，而不仅输出类别分数。

Research Problem

深度分类器适合大规模初筛，但稀有类型与污染样本的细微差异、仪器伪影和跨巡天分布变化，使最终确认仍依赖专家逐条看光谱。通用 VLM 缺少将天体诊断知识落实到具体波长证据的能力，普通分类数据中的简单负例也不足以反映真实复核难度。

Insight

专家会先看全局形态，再检查关键谱线区域；将这一工作流变成可调用的光谱可视化工具，可连接抽象诊断标准与原始数值证据。少量经过严格审核的轨迹能教会有效检查方式，更多仅有类别标签的数据则可通过 RL 改善噪声和污染条件下的判断。

Method

1. 基于 Qwen2.5-VL，输入初始光谱图和包含诊断特征、常见污染类型的专家提示；模型选择直接回答或提交波长区间及可选标签，工具从原始光谱数组重新渲染局部图并追加到 iMCoT。
2. 从 LAMOST 五类稀有目标及易混淆类型采样，筛选 SNR>10；GPT-5 草拟工具轨迹，由一名天文学家修订、另外两名独立审核，并在格式标准化后再次共同验收，获得约 1k cold-start 轨迹。
3. SFT 学习工具调用与证据解释，对工具返回 tokens 屏蔽损失；随后以 label-only 数据进行 GRPO，奖励最终分类正确性并惩罚格式错误，不额外奖励工具调用次数。
4. 构建 SpecVI-Bench，以弱分类器高置信误候选采样 hard negatives，采用近均衡训练与不均衡测试，并排除 cold-start 测试重叠；另以跨巡天、跨任务和极端样本检验泛化。