目标:书接上回,由于本地私有化部署了deepseek的大模型,那怎么能够投入生产呢,那就必须有一个前端的应用界面,好在已经有很多的前人已经帮我们把前段应用给搭建好了,我们使用就可以啦,今天我们就使用一下大名鼎鼎的chatbox,他和chery-studio如出一辙,但是谁更好用呢,我们通过这一期来看一下。
一、下载chatbox
地址:Chatbox AI官网:办公学习的AI好助手,全平台AI客户端,官方免费下载
二、找到chatbox的官网,点击免费下载并安装
三、在chatbox中配置ollama的本地服务地址
1、上节下载并安装了ollama,但是其只能提供本机的服务,也就是说,本机的服务地址为:127.0.0.1:11434
2、因此在chatbox中可以进行如下的配置:
点击chatbox的设置进行配置:
四、将上节安装的ollama改成对外提供服务
如果大模型是自己用那么用本机地址也还凑合,但是最终私有化部署的目的是将服务进行共享,也就是提供API出来给自有的企业来使用,那必须要将其配置成一个远程的服务,可以用来调用。如下就是配置成远程调用模式的方法和步骤:
在windows中添加环境变量:
-
退出正在运行的 Ollama 应用。
-
打开“设置”或“控制面板”,搜索“环境变量”。
-
编辑用户环境变量,添加或修改:
-
OLLAMA_HOST
,值为0.0.0.0
。 -
OLLAMA_ORIGINS
,值为*
。 -
-
-
保存后重启 Ollama。(这一步非常的重要,因为没有重启,会导致一直连接不上)
重启的方式:
(1)打开命令提示符,输入以下命令停止 Ollama 服务:ollama stop
(2) 然后输入以下命令启动 Ollama 服务:ollama serve
如果重启不了:
Ollama 默认使用 11434
端口,如果该端口被其他进程占用,可能会导致重启失败,先检查下端口的占用情况:
-
Windows:
netstat -ano | findstr :11434
如果端口被占用,记录下进程 ID(PID),然后结束该进程:
taskkill /PID <PID> /F
五、在chatbox中配置ollama的本地服务地址
1、在cmd中通过ipconfig来确定本机的地址:192.168.3.5
2、远程ollama的服务地址为:192.168.3.5:11434
3、chatbox进行配置:
点击chatbox的设置进行配置:
如果配置不成功,会提示网络错误:
如果配置成功,就直接回给出答案:
总结:上述就是如何将本地化部署的deepseek变成一项内部的服务来服务各类场景的基础啦,至于前端目前chatbox和cherystudio相比比较同质化,没有太大的差别。总体来说部署和使用都是比较简单的,但是还是那句话:如果每天都是听说deepseek有多好,不自己实践,只是学一些提示词的话,永远是掌握不到它的精髓的呢!希望大家都能用好AI,改变生活!