SPIO: Ensemble and Selective Strategies via LLM-Based Multi-Agent Planning in Automated Data Science

Idea

SPIO 在 automated data science 的 preprocessing、feature engineering、model selection 和 hyperparameter tuning 四个阶段提出多个候选 plans，再由 optimization agent 组合选择。SPIO-S 输出一个完整 pipeline，SPIO-E 选择多个 paths 分别生成和执行代码，再融合 predictions，以增加策略多样性并减轻单一路径的偶然失败。

Research Problem

许多 LLM data-science workflows 虽然分配了多个 agent，仍沿固定的单一路径前进，早期 preprocessing 或 feature choice 会限制后续模型空间。问题是如何结合数据描述、已生成代码和 validation feedback，在每个阶段提出替代策略，并以可执行的完整 pipeline 而非彼此孤立的局部建议完成优化。

Insight

Multi-agent 的主要收益可以来自显式保留不同 solution paths，而非仅把固定步骤交给不同角色。Sequential planning 用先前 plans 约束后续建议，ensemble 则利用不同完整 pipelines 的互补性。这里的 best/top-k selection 由 LLM 根据中间信息判断，并非穷举所有组合后证明最优；提升也需要与新增 code execution 和 ensemble 开销一起理解。

Method

1. Baseline generation：输入 Data Description 与 Task Description，依次为四个模块生成可执行代码；preprocessing/feature engineering 返回处理后数据描述，modeling/tuning 返回代码及 validation score。
2. Sequential planning：每个模块的 planning agent 读取当前代码、输出描述或 validation score，以及之前已提出的 candidate plans，生成若干替代策略，使后续选择能考虑跨阶段依赖。
3. SPIO-S：optimization agent 汇总各模块候选和任务信息，选定一个 solution path，再由 code generation model 将所选 plan 转为最终 pipeline 并执行，产生预测文件。
4. SPIO-E 与协议：选择 top-k plans，分别生成完整代码；classification 用 soft voting，regression 对 predictions 求均值。正文实验每模块最多两个候选、ensemble 取两条路径，使用 Kaggle/OpenML 的 validation split 做规划，test/leaderboard split 用于最终评估。