在《【chatGPT】学习笔记27-提示词解读3-实战案例之摘要总结》中,我们演示了LLM的总结能力。

接下来,我们继续跟着吴恩达老师的课程,解锁LLM另一个更强大的能力——推理(Inferring)。

image-20231122092928495

本文的“推理”是指利用LLM处理推理型的任务。

1.激发推理能力的提示词

(1)什么是LLM的推理能力

LLM的推理能力是指从已知信息中推导出新的结论的能力。

例如在下面的例子中,LLM根据上下文理解用户意图,经过推理生成了新的信息,包括结论和相应的解释。

image-20231123133732549

(2)如何激发LLM的推理能力

我们可以这样构建提示词:

  • 使用清晰明确的指令词,让LLM理解做什么类型的推理任务,如判断xxx、预测xxx。

  • 提供足够的上下文信息,让LLM知道要处理的内容。

2.实战案例

假设我是某智能问答系统的IT人员,要用LLM的推理能力帮忙做运营维护:

  • 判断用户对问答系统是否满意。
  • 用户问题千奇百怪,让智能客服能够应对各式花样提问。

2.1.满意度识别

一般问答系统都希望通过点赞👍/点踩👎按钮获取用户的反馈,但大部分用户都不会去点。

利用LLM的推理能力,直接拿用户的对话信息来做满意度分析,可以大大提升运营效率。

例如,让LLM判断用户回复的信息是什么感情色彩:

  • 我的提示词如下:

image-20231123141130339

  • LLM的回答如下:

image-20231123140406001

吴恩达老师"提示词工程课程"中说LLM擅长做情感判断,所以我又试了下让LLM列出评论中包含的情绪元素。看来LLM感情还是挺丰富的。

  • 我的提示词如下:

image-20231123141823738

  • LLM的回答如下:

image-20231123141845933

2.2.应对花式提问

传统智能问答系统是建立在知识库基础上的,通过关键词匹配最相关的答案,语义理解和推理能力非常有限。

现实用户提问方式五花八门,如果某个问题不在知识库,系统将无法提供准确答案。

基于LLM的推理能力,我们通过2个技巧快速提升智能问答系统的应对能力。

技巧1:基于已知问题推导类似问题

基于知识库中的预置问题,利用LLM推导扩充不同的问法,丰富问题集,同时弥补传统问答系统语义理解的不足。

  • 我的提示词如下:

image-20231123152748076

  • LLM的回答如下:

image-20231123152830392

技巧2:归纳推理

上面的方法可能仍然不足以完全应对用户问题的多样性,那么可以继续用LLM来补漏。

利用LLM的归纳推理能力,将用户问题和系统关键词检索出的相关问题做比较,从语义上判断是否相近。

  • 我的提示词如下:

image-20231123153737082

  • LLM的回答如下:

image-20231123153803235

换个相关但不相近的问题–都有关键词”会员“但语义不同,LLM仍然回答正确,看来LLM的推理能力还是可靠的。

  • 我的提示词如下:

image-20231123153723987

  • LLM的回答如下:

image-20231123153820768

  • 综上,利用LLM推导和归纳推理这两个技巧,可以实现快速扩充知识库、增强检索能力。

3.小结

本文介绍了一个LLM另一个实用的提示词技巧,解锁大语言模型的推理能力,充分利用大模型的智慧。

推理提示词的构建方法:

  • 使用清晰明确的指令词,让LLM理解做什么类型的推理任务,如判断xxx、预测xxx。
  • 提供足够的上下文信息,让LLM知道要处理的内容。