5、LMDeploy 量化部署 LLMVLM实战（homework）

基础作业（结营必做）

完成以下任务，并将实现过程记录截图：

配置lmdeploy运行环境

由于环境依赖项存在torch，下载过程可能比较缓慢。InternStudio上提供了快速创建conda环境的方法。打开命令行终端，创建一个名为lmdeploy的环境：

studio-conda -t lmdeploy -o pytorch-2.1.2# 接下来，激活刚刚创建的虚拟环境。
conda activate lmdeploy# 安装0.3.0版本的lmdeploy。
pip install lmdeploy[all]==0.3.0# 等待安装结束就OK了！

下载internlm-chat-1.8b模型

## OpenXLab平台支持通过Git协议下载模型。首先安装git-lfs组件。## 对于root用于请执行如下指令：
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | bash
apt update
apt install git-lfs   
git lfs install  --system## 对于非root用户需要加sudo，请执行如下指令：
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt update
sudo apt install git-lfs   
sudo git lfs install  --system## 安装好git-lfs组件后，由OpenXLab平台下载InternLM2-Chat-1.8B模型：git clone https://code.openxlab.org.cn/OpenLMLab/internlm2-chat-1.8b.git

以命令行方式与模型对话

进阶作业

完成以下任务，并将实现过程记录截图：

设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。（优秀学员必做）

## 模型W4A16量化
lmdeploy lite auto_awq /root/models/Shanghai_AI_Laboratory/internl
m2-chat-1_8b --calib-dataset 'ptb' --calib-samples 128 --calib-seqlen 1024 --w-bits 4 --w-group-size 128 --work-dir /root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b-4bit## KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。
lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq --cache-max-entry-count 0.4

以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。（优秀学员）

通过以下命令启动API服务器，推理internlm2-chat-1_8b模型：

lmdeploy serve api_server \/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b-4bit/  \--model-format  awq  \--quant-policy 0 \--server-name 0.0.0.0 \--server-port 23333 \--cache-max-entry-count 0.4 \--tp 1## 运行命令行客户端：lmdeploy serve api_client http://localhost:23333

命令行客户端：

Gradio网页端：

lmdeploy serve gradio http://localhost:23333 \--server-name 0.0.0.0 \--server-port 6006

使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。（优秀学员必做）

from lmdeploy import pipeline, TurbomindEngineConfig
backend_config = TurbomindEngineConfig(cache_max_entry_count=0.2)pipe = pipeline('/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b',backend_config=backend_config)
# pipe = pipeline('/root/models/Shanghai_AI_Laboratory/internlm2-chat-1_8b')
response = pipe(['Hi, pls intro yourself', '上海是'])
print(response)

使用 LMDeploy 运行视觉多模态大模型 llava gradio demo （优秀学员必做）

from lmdeploy import pipeline
from lmdeploy.vl import load_image# pipe = pipeline('liuhaotian/llava-v1.6-vicuna-7b') 非开发机运行此命令
pipe = pipeline('/share/new_models/liuhaotian/llava-v1.6-vicuna-7b')image = load_image('https://raw.githubusercontent.com/open-mmlab/mmdeploy/main/tests/data/tiger.jpeg')
response = pipe(('describe this image', image))
print(response)