ChatGLM与Langchain简介

ChatGLM-6B简介

ChatGLM-6B是什么

ChatGLM-6B地址：https://github.com/THUDM/ChatGLM-6B
ChatGLM-6B 是⼀个开源的、⽀持中英双语的
对话语⾔模型，基于 General Language
Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。

ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

更新 v1.1 版本 checkpoint， 训练数据增加英⽂
指令微调数据以平衡中英⽂数据⽐例，解决英
⽂回答中夹杂中⽂词语的现象。

ChatGLM-6B具备的能力

• 自我认知（可以对自己进行介绍，优点缺点等）
• 提纲写作（比如：帮我写一个介绍ChatGLM的博客提纲）
• 文案写作（根据一段话来生成一段文案）
• 信息抽取（抽取一段文本的人物，时间，地点等实体信息）
• 角色扮演（指定ChatGLM为一个角色，进行对话）

ChatGLM-6B具备的应用

大语言模型通常基于通识知识进行训练的，而在
⾯向某些领域的具体场景时，常常需要借助模型微调或提示
词⼯程提升语言模型应用效果：
常见的场景如：

• 垂直领域知识的特定任务（金融领域，法律领域）
• 基于垂直领域知识库的问答

模型微调与提示词工程的区别：

模型微调：针对预训练好的语言模型，在特定任务的数据集上进行进一步的微调训练，需要有标记好的特定任务的数据。

提示工程：核心是设计自然语言提示或指定，引导模型完成特定任务，适合需要明确输出的任务。

Langchain简介

Langchain是什么

LangChain 是一个用于开发由语言模型驱动的应用程序的框架。他主要拥有 3个能力：

• 可以调用LLM模型
• 可以将 LLM 模型与外部数据源进行连接
• 允许与 LLM 模型进行交互

Langchain的核心模块

Langchain的核心模块如下：

• Modules：支持的模型类型和集成，如：openai，huggingface等；
• Prompt：提示词管理、优化和序列化，支持各种自定义模板；
• Memory：内存管理（在链/代理调用之间持续存在的状态）；
• Indexes：索引管理，方便加载、查询和更新外部数据；
• Agents：代理，是一个链，可以决定和执行操作，并观察结果，直到指令完成；
• Callbacks：回调，允许记录和流式传输任何链的中间步骤，方便观察、调试和评估。

Agents代理执行过程如下：

Langchain的应用场景

• 文档问答
• 个人助理
• 查询表格
• 与API交互
• 信息提取
• 文档总结

ChatGLM与Langchain项目介绍

知识库问答实现步骤

基于Langchain思想实现基于本地知识库的问答应用。实现过程如下：
1、加载文件
2、读取文本
3、文本分割
4、文本向量化
5、问句向量化
6、在文本向量中匹配出与问句向量最相似的top k个
7、匹配出的文本作为上下文和问题一起添加到prompt中
8、提交给LLM生成回答。

还有另一个版本（本质是一样的）

ChatGLM与Langchain项目特点

• 依托 ChatGLM 等开源模型实现， 可离线部署
• 基于 langchain 实现，可快速实现接入多种数据源
• 在分句、文档读取等方面，针对中文使用场景优化
• 支持pdf、 txt、 md、 docx等⽂件类型接⼊，具备命令行demo、 webui 和 vue 前端。

项目主体结构

• models： llm的接⼝类与实现类，针对开源模型提供流式输出⽀持。
• loader： 文档加载器的实现类。
• textsplitter： 文本切分的实现类。
• chains： 工作链路实现，如 chains/local_doc_qa 实现了基于本地⽂档的问答实现。
• content：用于存储上传的原始⽂件。
• vector_store：用于存储向量库⽂件，即本地知识库本体。
• configs：配置文件存储。

项目效果优化方向

• 模型微调：一个是对embedding模型的基于垂直领域的数据进行微调；一个是对LLM模型的基于垂直领域的数据进行微调；
• 文档加工：一种是使用更好的文档拆分的方式（如项目中已经集成的达摩院的语义识别的模型及进行拆分）；一种是改进填充的方式，判断中心句上下文的句子是否和中心句相关，仅添加相关度高的句子；另一种是文本分段后，对每段分别及进行总结，基于总结内容语义及进行匹配；
• 借助不同模型的能力：在 text2sql、text2cpyher 场景下
  需要产生代码时，可借助不同模型能力。

项目后续开发计划

• 扩充数据源：增加库表、图谱、网页等数据接入；
• 知识库管理：完善知识库中增删改查功能，并支持更多向量库类型；
• 扩充文本划分方式：针对中文场景，提供更多文本划分与上下文扩充方式；
• 探索Agent应用：利用开源LLM探索Agent的实现与应用。

ChatGLM与Langchain项目实战过程

实战（一）

https://github.com/imClumsyPanda/langchain-ChatGLM
由于之前已经对ChatGLM进行过部署，所以考虑可以直接在原有环境中安装新的所需的包即可，同样也可以使用之前下载好的模型文件：ChatGLM部署

但看了下requirements.txt文件后还有不少需要安装的包，索性直接新建一个python3.8.13的环境（模型文件还是可以用的）

conda create -n langchain python==3.8.13

拉取项目

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

进入目录

cd langchain-ChatGLM

安装requirements.txt

conda activate langchain
pip install -r requirements.txt

当前环境支持装langchain的最高版本是0.0.166，无法安装0.0.174，就先装下0.0.166试下。
修改配置文件路径：

vi configs/model_config.py

将chatglm-6b的路径设置成自己的。
“chatglm-6b”: {
“name”: “chatglm-6b”,
“pretrained_model_name”: “/data/sim_chatgpt/chatglm-6b”,
“local_model_path”: None,
“provides”: “ChatGLM”

修改要运行的代码文件：webui.py，

vi webui.py

将最后launch函数中的share设置为True，inbrowser设置为True。
执行webui.py文件

python webui.py

可能是网络问题，无法创建一个公用链接。可以进行云服务器和本地端口的映射，参考：https://www.cnblogs.com/monologuesmw/p/14465117.html

对应输出：

占用显存情况：大约15个G

实战（二）

项目地址：https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui
HUggingFace社区在线体验：https://huggingface.co/spaces/thomas-yanxin/LangChain-ChatLLM

另外也支持ModelScope魔搭社区、飞桨AIStudio社区等在线体验。

下载项目

git clone https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui.git

进入目录

cd LangChain-ChatGLM-Webui

安装所需的包

pip install -r requirements.txt
pip install gradio==3.10

修改config.py

init_llm = "ChatGLM-6B"llm_model_dict = {"chatglm": {"ChatGLM-6B": "/data/sim_chatgpt/chatglm-6b",

修改app.py文件，将launch函数中的share设置为True，inbrowser设置为True。

执行webui.py文件

python webui.py

显存占用约13G。

参考
https://github.com/imClumsyPanda/langchain-ChatGLM
https://liaokong.gitbook.io/llm-kai-fa-jiao-cheng/
https://github.com/thomas-yanxin/LangChain-ChatGLM-Webui