DeepSeek除了支持在线调用服务接口外,还支持本地部署后调用本地服务,这样的好处是不需要api key,且资源独占,还能训练个人知识库。本文学习并记录本地部署DeepSeek的过程。
参考文献3中列出了不同模型对于电脑硬件的要求,本人电脑配置一般,只能部署1.5b版本的模型。
百度本地部署DeepSeek的方式,目前找到的主要是两种:
1)安装python、PyTorch、克隆DeepSeek仓库、下载模型等(参考文献6);
2)基于ollama部署模型,使用chatbox调用本地服务(参考文献1-2中也提到可以安装其它前端程序)。
第二种方式目前见到的最多,本文就先学习并记录基于ollama和chatbox的DeepSeek本地部署过程。
在ollama官网(参考文献4)中按电脑操作系统类型下载并部署相应版本的ollama程序,网上建议按其默认安装路径安装,否则还需要手工调整环境变量,下载及安装过程中下所示。
安装完成后,在命令行中输入下面的命令查看安装状态。
接下来下载DeepSeek模型,在ollama的官网中可以看到DeepSeek每种模型的下载命令,然后在命令行中运行对应命令即可下载并运行,模型文件默认下载到C:\Users\{用户名}\.ollama\models\blobs路径下。
ollama run deepseek-r1:1.5b
同时运行上面的命令也能在命令行中与DeepSeek本地模型对话,如下图所示:
接下来部署chatbox,在官网(参考文献5)中下载并安装chatbox,如下图所示:
安装完成后,运行chatbox开始设置本地服务路径,选择下图中圈红出的“使用自己的API Key或本地模型”。
在选择并配置AI模型窗口中选择Ollama API。
最后弹出的设置窗口中选择本地模型及设置API地址(使用默认地址即可)。
最后就可以在Chatbox中开始对话了,如下图所示。但说实话1.5b的模型效果一般,不清楚是设置的不对还是怎么回事,提问静夜思的作者或者让其仿照静夜思作诗,返回的结果不尽人意。
参考文献:
[1]https://blog.csdn.net/qq_20890935/article/details/145563763
[2]https://baijiahao.baidu.com/s?id=1822832446478919985&wfr=spider&for=pc
[3]https://www.callmysoft.com/support/5446.html
[4]https://ollama.com/
[5]https://chatboxai.app/zh
[6]https://baijiahao.baidu.com/s?id=1823651450604281706&wfr=spider&for=pc