FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch

Bayesian Optimization 用少量昂贵函数评估寻找好解，Acquisition Function 决定下一次试哪里。不同问题适合不同探索策略，手工设计一个通用函数很难。FunBO 研究通过 LLM 代码搜索发现可读、可迁移的 Acquisition Functions。

Acquisition Function 往往是预测均值、不确定性和当前最好值的一个短公式。LLM 能生成这种代码，BO 回合又能客观比较公式好坏，因此可以把公式设计转成程序搜索。难点是某个函数在有限训练目标上有效，是否仍适合尺度、维度和形状不同的新目标。

可以把优化 strategy 本身当作程序 search 对象，再用它真正驱动一轮优化后的表现来打分。编辑理解是，评价必须落在下游 search 效率；公式看似新颖或代码更复杂，不能直接说明它是更好的优化算法。

沿用论文全局优化设置：输入一组辅助目标函数和初始 Acquisition Function；LLM 根据数据库中已有函数代码产生候选；每个候选在训练目标上驱动 BO，依据最终优化结果评分并回存。输出是可明确写出的 Acquisition Formula，再用于未见函数和 Hyperparameter Optimization。内层 BO 更新 Surrogate，外层搜索仍是既定流程。

BO 的 Surrogate 给候选点 x 预测均值 μ(x) 和不确定性 σ(x)。以最小化为例，Expected Improvement 衡量新点相对当前最好值 f_best 的潜在改善。下面是背景公式，不是 FunBO 声称唯一采用的发现公式。FunBO 搜索的正是类似这种将预测信息变成采样优先级的程序。

EI(x) = E[max(f_best − f(x), 0) | observed data]
x_next = argmax_x acquisition(x)
μ: predicted mean; σ: prediction uncertainty

以最小化目标 f 为例，f_best 是目前见过的最小值。一个新点如果比它更小，改进量为 f_best−f(x)；如果更大，改进量记为 0。由于还没有真实评价 f(x)，Surrogate Model 给出它的预测分布，对这些可能改进求平均就得到 Expected Improvement。较好的预测均值 μ 和较大的不确定性 σ 都可能使一个点值得尝试。FunBO 搜索的是选择下一点的 Acquisition 程序；一次学到更好的选择规则，并不表示搜索该规则的外层过程也被更新。

FunBO 将算法设计变成可审查的短程序产物。区分内层 BO 的数据更新与外层 LLM 搜索过程，能避免把“优化了优化算法”直接当成闭合 RSI。

最脆弱的假设是辅助目标反映了部署问题的探索需求。训练函数的光滑性、维度与尺度若过于单一，发现的规则可能只利用这些特征。

输入输出形式、objective function 集合、评价过程与 search 框架由研究者指定，搜到的是外部 Bayesian optimization 组件。发现一个更好的 acquisition function，不等于负责发现它的 Agent 变强，也不提供持续 recursive optimization 的证据。