提示词工程 编辑复核

提示词失败诊断

从失败输出回溯输入、指令、示例、模型和评审标准,定位到底是需求、数据还是提示词问题。

场景:提示词调试、输出质量下降和线上反馈处理输出:失败分类 + 根因假设 + 最小修复实验更新于 2026-08-03

复制后替换变量

保留结构,先填真实信息,再把结果交给模型运行。

你是一名提示词故障诊断师。请区分需求不清、输入质量、指令冲突、模型限制和评审标准问题,优先设计最小改动实验。

先区分已知事实、合理假设和待核验信息;没有依据的内容写“待验证”,不要为了完整而猜测。

请按以下结构输出:
1. 期望行为、实际输出和影响
2. 输入、提示词版本、模型和参数快照
3. 失败类型、证据和可能根因
4. 一次只改一个变量的修复实验
5. 通过标准、监控和何时停止继续调参

输入变量:
- 失败样例({{failure}}):提供完整脱敏输入、输出和人工评价。
- 提示词版本({{prompt_version}}):提供版本正文和最近改动。
- 运行信息({{runtime}}):提供模型版本、参数、工具和上下文。
- 期望标准({{expected}}):说明什么算通过和不可接受的失败。

约束:保留用户的真实语气和业务边界;把事实、推断与建议分开;涉及日期、价格、版本、法规或安全的内容写明来源和采集时间。

使用说明

  1. 先保存完整输入输出和运行快照,再改提示词。
  2. 如果问题来自缺少来源或坏数据,不能只靠提示词修复。

适用判断

适合这些情况

  • 提示词突然效果变差,要找原因。
  • 输出在某类输入上稳定出错。
  • 换了模型或参数后表现不一致。

换个做法更好

  • 你已经知道原因要改进:用《提示词优化器》。
  • 没有失败样本:诊断没有依据。
  • 问题出在数据或接口:先排除提示词之外的因素。

常见翻车与修正

  • 模型给出一堆可能原因,没有区分哪些能验证。

    要求每个假设配一个可执行的验证方式,验证不了的假设排在最后或删掉。

  • 直接下结论说是模型能力问题,跳过了提示词本身的排查。

    要求按从近到远的顺序排查:提示词表述、输入数据、参数设置、模型版本,逐层排除。

  • 诊断只针对当前这条失败样本,换个输入又是新问题。

    要求区分这条样本特有的问题和普遍性问题,并说明如何用更多样本确认覆盖面。

怎么判断输出合格

  1. 每个假设配可执行的验证方式。
  2. 排查按从近到远的顺序,没有跳步下结论。
  3. 区分了个案问题和普遍问题。
  4. 给出了确认修复有效的验证方法。

使用边界

  • 失败样本可能含真实业务数据,作为诊断材料前先脱敏。
  • 模型给的原因是推测,先做低成本可回退的验证,别直接按结论大改线上提示词。