FusionAgent: A Multimodal Agent with Dynamic Model Selection for Human Recognition

Idea

FusionAgent 将 face、gait、body recognition models 作为可选择的 tools，让 MLLM 根据当前样本的可见信息逐轮决定调用哪些 experts，随后用 Anchor-based Confidence Top-k（ACT）融合其 scores。重点是 sample-specific model selection，而不是让所有模型固定参与每次识别。

Research Problem

不同 biometric cues 的可靠性随视角、遮挡和质量变化，例如背面视频中的 face expert 可能没有有效信息。静态 score fusion 既浪费调用，也可能引入噪声；不同模型的 embedding 与 score scales 又不一致，使简单平均难以充分利用互补性。

Insight

是否调用某个 expert 与如何融合它的结果应分别建模。Agent 利用视觉内容和已返回的 identity predictions 逐步选择模型，ACT 保留 anchor 的全局 ranking，再让其他模型以高置信的局部候选修正结果；训练 reward 还需要反映 dataset-level recognition metrics，而不能只看单次回答对错。

Method

1. 冻结 recognition model pool，把每个模型封装成 tool；输入 query 后返回 predicted identity，内部保留其 gallery similarity vector，避免要求 Agent 直接解读长 score vectors。
2. 使用 ReAct-style controller，逐轮分析输入、选择 expert、观察结果并决定继续或结束；不依赖预先标注的最佳 model-combination dialogues。
3. 用 GRPO 做 RFT，reward 结合 format、tool-call success、identity accuracy 和 metric-based signal；后者借助部分固定、部分随机的 selection masks 评估组合的 Rank、mAP、TAR 与 FNIR 表现。
4. ACT 以第一个被选中的模型作为 anchor，对各 expert scores 做 Z-score normalization，仅保留其 top-k gallery contributions，再与 anchor score vector 合并。