目录

ubuntu部署

1. 下载安装anaconda3

2. 创建并虚拟环境

3. 下载安装chatglm

4. 修改代码，减少gpu使用，目前使用6G显存

5.启动web服务

windows部署

1. 下载安装anaconda3

2. 创建并虚拟环境

3. 下载安装chatglm

4. 修改代码，减少gpu使用，目前使用6G显存

5.启动web服务

---

ubuntu部署

1. 下载安装anaconda3

    wget https://repo.anaconda.com/archive/Anaconda3-2021.11-Linux-x86_64.sh./Anaconda3-2021.11-Linux-x86_64.sh

2. 创建并虚拟环境

    conda create -n chatglm python==3.10.4source activate chatglmconda install pip

3. 下载安装chatglm

    git clone --recursive https://github.com/THUDM/ChatGLM-6Bcd ChatGLM-6Bpip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simplepip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlitpip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlit-chat

4. 修改代码，减少gpu使用，目前使用6G显存

    修改web_demo2.py修改前model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()修改后model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()如果没有显卡修改为model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

5.启动web服务

    streamlit run web_demo2.py

windows部署

1. 下载安装anaconda3

    下载地址 https://repo.anaconda.com/archive/Anaconda3-2021.11-Windows-x86_64.exe安装 Anaconda3-2021.11-Windows-x86_64.exe

2. 创建并虚拟环境

    conda create -n chatglm python==3.10.4activate chatglmconda install pip

3. 下载安装chatglm

    git clone --recursive https://github.com/THUDM/ChatGLM-6Bcd ChatGLM-6Bpip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simplepip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlitpip install -i https://pypi.tuna.tsinghua.edu.cn/simple streamlit-chat

4. 修改代码，减少gpu使用，目前使用6G显存

    修改web_demo2.py修改前model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()修改后model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().quantize(4).cuda()如果没有显卡修改为model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).float()

5.启动web服务

    streamlit run web_demo2.py

6. 问题报错

运行时报报一个这个错，但是icetk已经安装，许久无法解决，应该是torch相关库的版本问题，最后的解决办法，给到下面

ImportError: This modeling file requires the following packages that were not found in your environment: icetk. Run `pip install icetk`

重新安装torch库就可以了 

pip uninstall torch torchvision torchaudiopip install torch torchvision torchaudio

7 运行结果