吴恩达 Agentic AI 课程 · 第二节
吴恩达教授 Agentic AI 课程第二节的完整文字稿(中文译文)
📅 2025-10-26📂 AI课程译自 2025-10-26 版原文
📚 推荐资源
🚀 林悦己 - AI资源&工具集合↗反思(Reflection)设计模式
用反思改进任务输出
反思(reflection)让 LLM 能够改进自己的输出,就像人类会反思并修改自己的草稿一样。
例子:
- 写一封邮件 → 产出第一版(v1)
- 反思 → 发现表述不清、错别字、缺少签名
- 修改 → 产出第二版(v2)
LLM 可以遵循同样的循环:
- 生成 v1(邮件、代码等)
- 把 v1 传入另一个提示
- 反思并改进,产出 v2
各个步骤可以由不同的模型来完成:
- 生成 → 偏创意或直接输出的模型
- 反思 → 偏推理或分析的模型
外部反馈能提高效果:
- 例子:运行代码 → 捕获错误 → 把结果反馈回去 → 修复 bug
要点
- 反思带来的性能提升不算大,但很稳定
- 外部信息能强化反思过程
- 反思 ≠ 完美,但它能提升清晰度、准确性和完整性
为什么不直接生成?
零样本提示(zero-shot prompting)= 不给示例的一步生成。
例子:
- "写一篇关于黑洞的文章。"
- "写一个计算复利的 Python 函数。"
反思 vs 直接生成:
- 在各类任务上,反思往往优于零样本。
- 研究表明,反思能提高 GPT-3.5、GPT-4 等模型的成功率。
反思在什么情况下有帮助
- 生成结构化数据(HTML、JSON)
- 多步骤说明(例如如何泡茶)
- 创意生成(域名、品牌名)
反思提示示例
- 检查邮件的语气、事实和清晰度
- 评估域名是否易于发音、有没有负面含义
提示词写作技巧
- 使用"review""reflect""check""verify"之类的动词
- 明确给出标准(语气、事实准确性、结构)
- 学习优秀开源实现里的提示词
图表生成工作流
反思同样能改进视觉输出。
工作流示例:
- 生成图表代码(Python)→ 产出堆叠柱状图(v1)
- 把代码和生成的图片一起喂给多模态 LLM
- 从视觉上反思 → 建议更好的图表(例如分组柱状图)
- 生成改进后的可视化(v2)
有效的反思提示
- 指定明确的角色("资深数据分析师")
- 提供上下文:代码、数据和图片
- 定义标准:可读性、清晰度、完整性
模型选择
- 生成:GPT-4o、GPT-5 等
- 反思:推理模型或视觉模型
评估反思的效果
反思会增加延迟,但往往能提高准确率。一定要测试它是否值得保留。
例子:数据库查询评估
- LLM 编写 SQL → 不做反思直接运行
- LLM 编写 SQL → 反思、重写 → 再次运行
- 与标准答案(ground truth)对比准确率
结果示例:
- 不做反思 → 87% 正确
- 加上反思 → 95% 正确
评估方法
- 客观任务: 使用自动化测试(例如 SQL 结果)
- 主观任务: 使用带评分标准(rubric)的 LLM-as-judge
基于评分标准的评估
- 避免成对比较带来的偏差
- 使用二元(0/1)打分以保证评估一致
- 标准:标题清晰、标签正确、图表类型合适等
为什么这很重要
- 使提示词优化成为可能
- 提供可复现的基准
- 让改进始终以数据为依据
使用外部反馈
引入新信息的反思,效果优于只基于已有上下文的反思。
性能曲线:
- 零样本 → 很快到达平台期
- 反思 → 中等提升
- 反思 + 外部反馈 → 显著提升
外部反馈的例子
- 运行代码 → 捕获运行时错误 → 反馈回去
- 检测违禁词 → 反馈检测结果
- 用网络搜索做事实核查 → 提供经过验证的信息
- 字数校验 → 强制执行长度限制
设计模式
- 生成 → 产出输出
- 收集外部反馈 → 新数据
- 结合反馈进行反思 → 改进后的输出
反思是一个系统层面的循环:
- LLM 从现实中学习
- 开发者进行度量和调优
- 系统持续改进
总结
反思设计模式:
- 模仿人类的修改过程
- 适用于文本、代码和图像
- 在明确的标准或外部反馈引导下能提升质量
核心原则 给任何生成系统加上结构化的反馈循环。