1、安装ollama
去ollama官网下载对应版本:Download Ollama
下载后安装即可,安装后运行ollama,运行成功没有界面,windows会在状态栏右下角见到图标。
2、部署deepseek
在ollama官网左上部,点击Models,再点击deepseek-r1,根据电脑硬件配置选择想部署的8b、14b、32b版本,然后复制运行命令,比如想部署14b版本,复制运行命令如下:
ollama run deepseek-r1:14b
打开cmd窗口,输入运行命令,即可开始部署。部署就是下载对应包,14b版本9G左右、32b版本19G左右。我先后部署了这两个版本,32b更聪明些,运行也更慢。
部署显示100%即告成功,再在cmd窗口输入运行命令ollama run deepseek-r1:14b,当出现
>>> Send a message (/? for help)
即表示部署成功,可以开始对话了,但此时只能以命令行的形式进行对话,下面介绍如何部署网页。
3、安装open webui
如果没有安装python 3.11或3.12,建议去anaconda官网下载包含对应python版本的anaconda,安装后,打开anaconda prompt窗口,输入如下命令安装open webui
pip install open-webui
安装完成后执行命令启动open webui,这样就启动了AI的web服务
open-webui serve
open webui能自动识别正在运行的allama,并提供模型选择。
4、打开网页开始AI对话
在浏览器中输入http://127.0.0.1:8080,注册邮箱后即可开始AI对话了。
也可以通过docker来执行open webui
步骤如下:
1、安装docker
去docker官网(Docker: Accelerated Container Application Development)下载安装docker desktop,如果win10版本较老,我就是这样,没法安装最新版docker,可以去Release notes | Docker Docs页面下载历史版本4.24.1。安装后需要重启电脑并注册账号。
要运行docker,请确保电脑bios中已打开虚拟化。
2、拉取open webui镜像
在CMD窗口中输入如下命令拉取open webui镜像
docker pull ghcr.io/open-webui/open-webui:main
3、启动open webui并关联ollama
在CMD窗口中输入如下命令启动open webui并关联ollama
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
上述命令将8080端口映射到了3000端口。运行成功后可在docker界面的容器看到一条open webui的条目。
4、打开网页开始AI对话
在浏览器中输入http://127.0.0.1:3000,注册邮箱后即可开始AI对话了。