TextGrad: Automatic "Differentiation" via Text

Compound AI System 中，最终错误可能来自多个上游组件。只给总分，很难决定改哪个 Prompt、代码或其他变量。TextGrad 研究把语言 Feedback 沿计算图向上游传递，让每个可优化变量收到与其作用相关的修改建议。

数值 AutoDiff 的优势来自记住前向依赖，再把输出误差分配给输入。LLM 虽然不一定提供可用导数，却能阅读局部输入、输出和下游反馈，解释该组件如何影响最终结果。于是可以保留图结构，让语言承担局部归因和编辑；这种类比是否有效必须用实际修改后的目标值验证。

feedback 的价值不仅在于指出答案错了，还在于结合组件的角色和下游目标说明应改哪里。computation graph 提供这种依赖结构，language model 承担语义上的错误归因；所谓 textual gradient 是优化建议的比喻，并不具有数值导数的数学保证。

沿用原文 Prompt Optimization 场景：Prompt 与 Question 输入 Solver 得到 Prediction，Evaluator 给反馈；Backward 结合下游意见和局部上下文，为 Prompt 生成 Textual Gradient；Optimizer 修改 Prompt，再在独立样本上检查。原文还优化单题 Solution、代码、分子和治疗计划。这些 Variant 的输出与保留范围不同，单题修订不能被当成跨任务 Prompt Learning。

数值 Chain Rule 中，dL/dx=(dL/dy)(dy/dx)，局部导数有确定含义。TextGrad 用文字反馈近似“x 应如何变化以改善 L”的作用，而没有可相乘的数值局部导数。因此不要把 Textual Gradient 的方向看成已证明的下降方向。理解它时应跟踪依赖图、反馈可见范围和更新后的重新评估。

Numerical analogy: dL/dx = (dL/dy)·(dy/dx)
TextGrad: downstream feedback + local context → textual advice
variable′ = edit(variable, advice); then re-evaluate

链式法则的数值例子是 y=2x、L=y²：x 增加一点先让 y 以两倍幅度变化，再通过 L 对 y 的斜率 2y 传到目标，所以 dL/dx=2y×2。TextGrad 借用了沿依赖关系追溯影响的组织方式，但文字建议没有对应的连续微小扰动或可验证导数。一次编辑可能同时改变语义、格式和边界行为。因此，收到看似合理的 Feedback 后仍要重新运行系统，检查 Loss 是否改善；不能将建议方向直接当作下降保证。

TextGrad 的价值是统一反馈传递接口。它提供可用的工程抽象，但局部语言归因的正确性、收敛与跨任务保留仍需按 Variant 单独验证。

最脆弱的假设是局部上下文足以识别全局错误原因。两个组件可能各自合理、组合后失效；单独修改任一组件都可能破坏原有配合。

方法依赖 model 提供可靠的语义归因，没有真实 gradient 或收敛保证。分子相关结果主要来自计算评价，外部科学设计不能仅凭代理分数证明真实效果；foundation model 和文本优化流程也没有在实验中自主重写。