Memory-Augmented LLM-based Multi-Agent System for Automated Feature Generation on Tabular Data

Idea

MALMAS 将 tabular feature generation 分成多种专门策略，并由 Router 每轮选择适用 agents；各 agent 保存尝试、下游模型反馈和抽象经验，再汇总为共享 memory，持续引导下一轮特征探索。最终以 validation utility 选择新特征扩展数据。

Research Problem

传统自动特征工程受固定 operators 限制，不能充分利用列语义与任务含义；单一 LLM generator 虽有语义能力，却易重复固定思路且缺少学习目标反馈。若只增加 agents 而无结果记忆，也难区分有用互补特征与冗余试错。

Insight

不同转换策略覆盖特征复杂度、作用范围和数据类型的不同维度；下游模型的实际收益则为这些语义假设提供筛选依据。把“做过什么、哪些有效、为什么可能有效”分开记录，再跨角色共享，可让昂贵评估被后续轮次复用。

Method

1. 固定 agent pool 包括 unary、cross-compositional、temporal、aggregation、local-transform、local-pattern 六类，Router 根据 metadata 与 global memory 激活子集，成员并行生成候选转换。
2. prompt 纳入列统计/语义、当前特征及历史有效变换，agent 生成可执行 transformation 并评估新特征与已有 X 合并后的 downstream validation performance。
3. procedural memory 记录 base columns、transform type、名称和描述；feedback memory 记录指标、数值与是否有效；conceptual memory 由 LLM 将尝试和收益概括为后续规则。
4. Summary Agent 汇总各 agent 的 conceptual/feedback memories 成全局指导，每轮按收益取 top features 加入数据并更新 metadata，再继续下一轮。
5. 主要配置进行四轮，采用相同 XGBoost downstream model，在十六个分类与七个回归数据集、三次随机 split 上报告 AUC/NRMSE 与平均排名。