吴恩达 Agentic AI 课程 · 第二节

吴恩达教授 Agentic AI 课程第二节的完整文字稿(中文译文)

反思(Reflection)设计模式

用反思改进任务输出

反思(reflection)让 LLM 能够改进自己的输出,就像人类会反思并修改自己的草稿一样。

例子:

  • 写一封邮件 → 产出第一版(v1)
  • 反思 → 发现表述不清、错别字、缺少签名
  • 修改 → 产出第二版(v2)

LLM 可以遵循同样的循环:

  1. 生成 v1(邮件、代码等)
  2. 把 v1 传入另一个提示
  3. 反思并改进,产出 v2

各个步骤可以由不同的模型来完成:

  • 生成 → 偏创意或直接输出的模型
  • 反思 → 偏推理或分析的模型

外部反馈能提高效果:

  • 例子:运行代码 → 捕获错误 → 把结果反馈回去 → 修复 bug

要点

  • 反思带来的性能提升不算大,但很稳定
  • 外部信息能强化反思过程
  • 反思 ≠ 完美,但它能提升清晰度、准确性和完整性

为什么不直接生成?

零样本提示(zero-shot prompting)= 不给示例的一步生成。

例子:

  • "写一篇关于黑洞的文章。"
  • "写一个计算复利的 Python 函数。"

反思 vs 直接生成:

  • 在各类任务上,反思往往优于零样本。
  • 研究表明,反思能提高 GPT-3.5、GPT-4 等模型的成功率。

反思在什么情况下有帮助

  • 生成结构化数据(HTML、JSON)
  • 多步骤说明(例如如何泡茶)
  • 创意生成(域名、品牌名)

反思提示示例

  • 检查邮件的语气、事实和清晰度
  • 评估域名是否易于发音、有没有负面含义

提示词写作技巧

  • 使用"review""reflect""check""verify"之类的动词
  • 明确给出标准(语气、事实准确性、结构)
  • 学习优秀开源实现里的提示词

图表生成工作流

反思同样能改进视觉输出。

工作流示例:

  1. 生成图表代码(Python)→ 产出堆叠柱状图(v1)
  2. 把代码和生成的图片一起喂给多模态 LLM
  3. 从视觉上反思 → 建议更好的图表(例如分组柱状图)
  4. 生成改进后的可视化(v2)

有效的反思提示

  • 指定明确的角色("资深数据分析师")
  • 提供上下文:代码、数据和图片
  • 定义标准:可读性、清晰度、完整性

模型选择

  • 生成:GPT-4o、GPT-5 等
  • 反思:推理模型或视觉模型

评估反思的效果

反思会增加延迟,但往往能提高准确率。一定要测试它是否值得保留。

例子:数据库查询评估

  1. LLM 编写 SQL → 不做反思直接运行
  2. LLM 编写 SQL → 反思、重写 → 再次运行
  3. 与标准答案(ground truth)对比准确率

结果示例:

  • 不做反思 → 87% 正确
  • 加上反思 → 95% 正确

评估方法

  • 客观任务: 使用自动化测试(例如 SQL 结果)
  • 主观任务: 使用带评分标准(rubric)的 LLM-as-judge

基于评分标准的评估

  • 避免成对比较带来的偏差
  • 使用二元(0/1)打分以保证评估一致
  • 标准:标题清晰、标签正确、图表类型合适等

为什么这很重要

  • 使提示词优化成为可能
  • 提供可复现的基准
  • 让改进始终以数据为依据

使用外部反馈

引入新信息的反思,效果优于只基于已有上下文的反思。

性能曲线:

  • 零样本 → 很快到达平台期
  • 反思 → 中等提升
  • 反思 + 外部反馈 → 显著提升

外部反馈的例子

  • 运行代码 → 捕获运行时错误 → 反馈回去
  • 检测违禁词 → 反馈检测结果
  • 用网络搜索做事实核查 → 提供经过验证的信息
  • 字数校验 → 强制执行长度限制

设计模式

  1. 生成 → 产出输出
  2. 收集外部反馈 → 新数据
  3. 结合反馈进行反思 → 改进后的输出

反思是一个系统层面的循环:

  • LLM 从现实中学习
  • 开发者进行度量和调优
  • 系统持续改进

总结

反思设计模式:

  • 模仿人类的修改过程
  • 适用于文本、代码和图像
  • 在明确的标准或外部反馈引导下能提升质量

核心原则 给任何生成系统加上结构化的反馈循环。