前置环境搭建劳请移步往期
source activate 自己环境名启动python3.12环境安装xinference,
按教程敲命令,wheel包与wsl的通用,pip install 包名。
vllm引擎,transform引擎也会顺带自动装上了。
后续操作请参照往期教程。本地部署模型路径选到safetensors文件夹,
运行全精度模型,官网给的目录结构全部下载,必要文件不能少,gguf只下一个模型文件就行了。
这次加载很快,linux的优越性这就体现出来了。不用帮它加速,给我点个赞呢谢谢。
翻车了,忘了装中文输入法了。可以看到think过程没有问题,至此,windows环境,wsl环境,docker环境,linux环境下,本地部署deepseek全部实现,撒花撒花。