显存占用对比：

显卡：NVIDIA GeForce RTX 4090
系统环境：ubuntu 22.04LTS

• Qwen-14B-Chat-Int8
  模型：qwen/Qwen-14B-Chat-Int8
  GPU占用：
  

• Qwen-7B-Chat
  模型：qwen/Qwen-7B-Chat（bf16, fp16）
  GPU占用：
  

• chatglm3-6b
  模型：ZhipuAI/chatglm3-6b（bf16, fp16）
  GPU占用：
  

总结

总结下来就是能用fp16就用fp16，能用Int8就用Int8，能用int4就用int4。
量化对降低显存占用还是非常不错。

参考

1. https://modelscope.cn/models/qwen/Qwen-14B-Chat-Int8/summary
2. https://modelscope.cn/models/qwen/Qwen-7B-Chat/summary
3. https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary