一文了解LLM大模型会话 QA 增强

概述

在日常对话中，由于我们的大脑记录了对话的历史信息，为了减少冗余的内容，在进行回复时通常会存在指代和省略的情况。因为人脑具有记忆的能力，能够很好地重建对话历史的重要信息，自动补全或者替换对方当前轮的回复，来理解回复的意思。

但是对于大模型的对话，模型并没有人脑这样的能力，在用户进行多轮对话时，用户的简短提问可能会指代上文中的部分信息，如果仅用当次问题去问答，会使对话效果不佳，大模型答非所问，效果较差。另外，在基于私域知识内容的场景下，需要先基于向量检索所需的内容，此时会存在检索不到有效信息导致无法获得有效回答等问题。

QA 增强

QA 增强即多轮对话增强，它的核心其实在于对指代进行消解和省略补全；根据历史轮和当前轮的对话，从候选会话历史的集合中找到最适合对应指代位置的答案，然后将指代具体化，或者预测指代可能的具体内容以补全省略信息。或者，提升更加精确的语义粒度和句法完整度。

它解决的问题是防止多轮对话情况下，拿来检索的问题不是用户的真实意图，提高对话的回复效果。但缺点是需要大型语言模型（LLM）生成一轮对话，这会影响性能并且需要消耗大量的 token。

在这里插入图片描述

基于 Langchain 的多轮对话构建 QA 增强

在这里插入图片描述

以下是一个 QA 转换后的例子，将指代内容替换之后的输出（基于知识库的检索问答）

Q1:RAG 是什么？

Q2:它的步骤有哪些？=====》RAG 基本流程有几个步骤？

Q3:它的检索操作怎样的？==》请问 RAG 中的检索召回环节具体包括哪些操作？

历史会话信息如下：

[HumanMessage(content=‘什么是 RAG’), AIMessage(content=‘RAG 是 Retrieval Augmented Generation 的缩写，是一种检索增强生成技术。它类似于搜索引擎，但是作为一个中间件技术，检索到的结果不会直接作为最后的输出，而是将其插入 prompt 中在喂给大模型，通过提高 prompt 中上下文的质量来提高模型回复的效果。RAG 的主要作用是在大模型之前的部分，即数据检索和信息整合。’),HumanMessage(content=‘RAG 基本流程有几个步骤？’),AIMessage(content=‘RAG 的基本流程包括以下步骤：\n1. 数据准备\n2. 内容检索\n3. 生成\n 在数据准备阶段，需要进行数据加载、文本切片、向量化等操作。在内容检索阶段，需要进行向量化、相似度计算、文档召回等操作。在生成阶段，需要进行向量化、生成答案等操作。’), HumanMessage(content=‘请问 RAG 中的检索召回环节具体包括哪些操作？’), AIMessage(content=‘RAG 中的检索召回环节包括以下操作：\n1. 数据读取与预处理\n2. 数据切片环节，包括按 Token 长度切片、按中文各符号递归分割、Markdown 格式切片、HTML 格式切片、按不同语言的代码规则切片、表格切片等\n3. 数据语义级预处理环节，包括关键信息抽取和自动生成问题\n4. 向量化环节，包括 Embedding Model 选型和 embedding model 微调\n5. 数据入库环节\n6. 内容检索，包括输入向量化、相似度计算和文档召回’)

在上面的场景中，我们需要了解 RAG 的相关知识，在后续对话中的指代和省略的内容需要替换成 RAG 的相关描述，在检索阶段搜索到有效的信息。

问题的全面性重构 QA 增强

优点： 提供更全面的回答。

缺点： 可能影响性能；生成的问题有小概率不准确。

对用户问题生成若干个相似问题或其他角度的问题，确保召回信息的全面性。根据内容总结出最合适的提问方式。

在这里插入图片描述

总结

QA 增强的目的旨在提高模型的回复效果，从而获得更有效的信息。在实际使用过程中，可以通过使用场景调整 prompt，提供一个对话的大背景，以便于模型给出更好的问题重构。同时，使用如 Qwen1.5、LLaMA7B 这样经过特殊训练、针对语义优化的小模型，可以提高问题重构的效率。

在 QA 重构后，问答效果会有明显改善，相关指标提升显著。另一方面，有效的召回检索信息使得额外的信息可以顺利地接入，例如，利用用户历史数据可以使模型效果持续提升和优化。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍