政安晨的个人主页:政安晨
欢迎 👍点赞✍评论⭐收藏
希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正!
目录
一、准备工作
Dify跑起来
ollama局域网化配置
Dify配置并验证
启动ComfyUI
二、工作流文生图测试
最后,祝大家好运
未来基于AI工作流的生活将成为常态,大家从现在就开始了解并使用起来,好处满满,让我们开始这个有趣的尝试。
通过我前面的文章,相信小伙伴们自己电脑上已经安装了Dify、ComfyUI、Ollama这些工具。
我们接下来就把这些零碎儿全组织起来。
一、准备工作
Dify跑起来
查看一下本地的docker容器:
sudo docker ps
参照我这篇文章(进入Dify目录):
政安晨【超级AI工作流】—— 基于Dify构建本地工作流,并调用Ollama的本地大模型开展工作-CSDN博客文章浏览阅读607次,点赞13次,收藏10次。市面上目前工作流分为几种形式,一种是以Coze为代表的基于网页的工作流形式,另一种以langchain与llamaindex为主的基于代码框架的形式。而开源的webui工作流框架主要有这类基于webui 的工作流。我们选择Dify作为未来本地工作流的基础框架。https://blog.csdn.net/snowdenkeke/article/details/146377096在正确的目录下执行:
sudo docker compose up -d
开启后,本地访问:
localhost/signin
在本地运行的话,我们工作流中的很多模型要靠如ollama这样的工具提供,并且很多情况下,可能工作流部署在一台主机上,大模型部署在局域网中的另外主机上,由此,我们将需要把ollama配置成局域网可以访问的模式。
ollama局域网化配置
去官网正常安装ollama之后,我们开始配置:
sudo vim /etc/systemd/system/ollama.service
当前配置如下:
我们要修改这个文件,修改前最好先备份一下:
sudo cp /etc/systemd/system/ollama.service /etc/systemd/system/ollama.service.org_bak
修改如下(可以更换端口号):
Environment="OLLAMA_HOST=0.0.0.0:11434"
同时,需要修改User和Group。
为了完成修改,先查看
ollama serve
如果像我这样报错,停止一下ollama服务:
sudo systemctl stop ollama
再执行上面的命令你会看到这样:
如果你还是不放心,你可以再重启一下ollama服务:
sudo systemctl restart ollama
执行
ls -l ~/.ollama/models/
显示如下:
可以看到我的User和Group都是tongyuzhou,这两个参数也要在上面的配置文件中进行修改。
为什么要这样做?
因为你安装ollama的时候,注册了一个名叫ollama的用户(User),你需要确认你的 service 文件上配置的是 ls -l ~/.ollama/models 命令出来的的用户和分组!,而不是ollama!
否则,会出现你调不出 api的情况。
当然,有些时候你的ollama模型并不是放到这个目录下,那就去找到你的模型位置,看一下用户和分组,使用模型的用户和分组配置,由于我的模型就是ollama的用户和分组,所以,我修改后的文件是这样的:
保存退出并重启服务:
:wq
sudo systemctl restart ollama
如果发现有错误,按提示操作:
确认ollama局域网服务是否正常:
http://your_ip_addr:11434/api/tags
我的ollama服务地址如下:
http://172.23.1.12:11434/api/tags
修改不正确的话,你可能会看到这样:
我的是这样的:
OK,现在你的ollama局域网能力配置好了。
Dify配置并验证
现在,你可以继续在Dify中配置模型,你看到的是这样的:
我的是这样的:
配置好之后,用工作流测试一下大模型的运行:
确认一切正常后,让我们继续。
启动ComfyUI
不知道怎么在Linux Ubuntu上部署ComfyUI的小伙伴查看我的这篇文章:
政安晨【零基础玩转各类开源AI项目】Wan 2.1 本地部署,基于ComfyUI运行,最强文生视频 & 图生视频,一键生成高质量影片_savewebm node-CSDN博客文章浏览阅读948次,点赞9次,收藏11次。希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正!我们今天要使用的Wan2.1模型,文生视频与图生视频,效果很不错,我以前的文章部署过comfyUI:政安晨【零基础玩转各类开源AI项目】基于Ubuntu系统部署ComfyUI:功能最强大、模块化程度最高的Stable Diffusion图形用户界面和后台_comfyui ubuntu-CSDN博客ComfyUI这套框架可让您使用基于图形/节点/流程图的界面设计和执行高级稳定扩散管道。_savewebm nodehttps://blog.csdn.net/snowdenkeke/article/details/146154907该命令查看虚拟环境:
conda info --envs
激活虚拟环境:
conda activate comfyui
进入ComfyUI目录并执行:
cd ComfyUI
python main.py --listen 0.0.0.0 --port 8188
首先用浏览器访问一下comfyUI:
我的本地地址:
http://172.23.1.12:8188/
确认正常后我们继续。
二、工作流文生图测试
新建节点:
右键新建节点,然后 搜工具 ComfyUI
插件市场安装完成后,去授权一下:
输入你的服务地址:http://your_ip_addr:8188
该插件如果在线安装无法成功的话可以选择本地安装。
接下来有个繁琐的工作是你要把下面这些模型配置上去:
同时你也可以调用ComfyUI的工作流:
这样:
仔细核对每一项
配置好之后,就可以把下面这个工作流在dify中跑起来:
时间有限,我准备一下相关模型,在今后的篇章中调用更多的工作流。
最后,祝大家好运
工作很复杂,也是一个细活,且行且用心吧。