OctoT2I: A Self-Evolving Agentic Text-to-Image Router

Idea

OctoT2I 把多个 text-to-image models 的选择定义为满足质量阈值下的成本最小化问题。系统先通过自主探索建立每个工具的能力知识，再依据用户 prompt、长期知识和本次生成历史动态路由，可在一次失败后换工具，并在达到质量要求时停止。

Research Problem

已有 agentic T2I 系统常依赖人工工具描述、标注数据或固定单轮流程。模型间存在速度与组合生成能力差异，固定调用重型模型会浪费资源，固定轻型模型又难处理计数和空间关系。未知工具能力及生成随机性使静态路由无法可靠实现质量与效率的联合目标。

Insight

工具知识可以由实际生成试验累积，而不只来自模型名称或人工先验。具体 prompt 的成功率记录与概括性 tool profiles 提供互补证据。多轮执行反馈进一步修正当前请求上的能力估计，使路由能结合预期能力与已发生失败作决定。

Method

1. 从空 knowledge base 开始，由 LLM 定义颜色、数量、位置等 conceptual dimensions，并按维度组合复杂度推进 Propose–Solve–Evaluate–Learn 循环，为每个工具生成测试 prompts 和多次图像输出。
2. Evaluator 对 prompt-image alignment 做 yes/no 判断，使用两个 token 的 logits 得到连续分数。以超过质量阈值的频率估计 Pass@1，同时记录平均 inference cost，汇总细粒度探索记录和高层能力描述。
3. Exploration pruning 只在工具掌握某组合的所有非空子组合后探索该复杂组合，将预算集中于其能力边界，而非穷举全部 prompts。
4. 推理时采用 filter-then-select：估计哪些工具能达到质量阈值，再选预计成本最低者。将工具、图像、得分加入短期 memory，达标或轮数用尽时返回目前最高分图像；实验控制器由 GPT-4.1 policy distillation 得到 Qwen2-0.5B。