1.Windows安装docker
Windows安装Docker-CSDN博客
2.安装olloma
https://ollama.com/
安装完成,可以在桌面右下角看到olloma图标
3.安装deepseekR1模型
ollama官网(deepseek-r1),找到deepseek模型
选择合适大小的模型,然后复制对应的脚本
在命令行窗口 ,执行脚本,就可以把对应的模型,下载到本地电脑。
显示success,表示模型安装完成。
4.安装dify
github下载dify包
https://github.com/langgenius/dify
由于github访问比较慢,我已经把下载好的包,放在csnd,可以直接下载
https://download.csdn.net/download/liangmengbk/90487779?spm=1001.2014.3001.5501
将zip解压,得到如下文件
找到docker目录中的 .env.example文件,将文件名称改为.env
用记事本打开这个文件,在最下面增加配置:
#启用自定义模型
CUSTOM_MODEL_ENABLED=true
#指定ollama的api地址
OLLAMA_API_BASE_URL=host.docker.internal:11434
文件编辑完成后保存。
在docker目录中,按住Shift+鼠标右键,打开
执行docker compose up -d命令,运行容器。
发现运行失败,这是因为网络原因导致的,解决方法是配置国内的镜像源。
操作步骤如下:
"https://hub-mirror.c.163.com",
"https://mirror.ccs.tencentyun.com",
"https://docker.m.daocloud.io",
"https://mirror.baidubce.com",
"https://docker.mirrors.ustc.edu.cn"
配置完成,点击Apply,再次执行docker compose up -d命令
在docker中可以看到已经安装的容器。
到此,dify所依赖的环境都安装好了。
开始安装dify项目
浏览器输入 http://127.0.0.1/signin
如果出现了这种情况,在docker面板中重启nginx
然后通过下图的地方,再次访问。
第一次加载需要设置邮箱、用户名和密码信息
登录成功
5.在dify中关联大模型
找到设置
选择模型供应商
安装完成,刷新页面,点击添加模型
模型名称,可以通过命令 ollama list 查看已经安装的模型。
基础URL,在安装dify时,docker文件夹中env文件配置的OLLAMA_API_BASE_URL参数值。
点击保存按钮
点击保存按钮后,页面无响应,F12控制台返回超时。
处理方法:
1.控制台设置ollama_host参数
set OLLAMA_HOST=0.0.0.0
2.重启Ollama服务
以上操作完成,重新添加模型。
添加成功,会在这里显示模型
系统模型配置中,也可以看到
创建聊天助手
到此,dify就和本地大模型关联起来了。
6.安装Embedding模型,为创建知识库做准备
选择BGE-M3模型作为Embedding模型
在本地安装模型
在dify中添加模型,操作与前面的添加deepseek模型相似。
添加完成
到此,嵌入模型就安装好了。
7.创建知识库
在dify中选择知识库
选择文件
保存,会显示嵌入处理中,等待嵌入完成。
知识库已经创建完毕了。
也就是说通过bge-m3模型,已经把员工手册这个资料向量化了。
8.关联知识库
在前面创建的测试助手中添加知识库
从文档中分析出了每月的发薪日期。
点击这里,可以看到对文档的引用情况。
点击发布,发布更新,可以将当前的配置进行保存。
到此,deepseek+dify,部署本地知识库就完成了。