Linux系统本地化部署Dify并安装Ollama运行llava大语言模型详细教程

💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。
img

  • 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老
  • 导航
    • 檀越剑指大厂系列:全面总结 java 核心技术,jvm,并发编程 redis,kafka,Spring,微服务等
    • 常用开发工具系列:常用的开发工具,IDEA,Mac,Alfred,Git,typora 等
    • 数据库系列:详细总结了常用数据库 mysql 技术点,以及工作中遇到的 mysql 问题等
    • 新空间代码工作室:提供各种软件服务,承接各种毕业设计,毕业论文等
    • 懒人运维系列:总结好用的命令,解放双手不香吗?能用一个命令完成绝不用两个操作
    • 数据结构与算法系列:总结数据结构和算法,不同类型针对性训练,提升编程思维,剑指大厂

非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨

博客目录

    • 前言
    • 1. 本地部署 Dify 应用开发平台
    • 2. 使用 Ollama 部署本地模型
    • 3. 在 Dify 中接入 Ollama 大语言模型
    • 4. 公网远程使用 Dify
      • 4.1 创建远程连接公网地址
    • 5. 固定 Dify 公网地址

前言

本篇文章介绍如何将 Dify 本地私有化部署，并且接入 Ollama 部署本地模型，实现在本地环境中部署和管理 LLM，再结合 cpolar 内网穿透实现公网远程访问 Dify。

Dify 它是一个开源 LLM 应用开发平台。拥有直观的界面结合了 AI 工作流、RAG 管道、代理功能、模型管理、可观察性功能等，可以快速从原型开发到生产。

Ollama 是一个本地推理框架，允许开发人员轻松地在本地部署和运行 LLM，例如 Llama 3、Mistral 和 Gemma。Dify 是一个 AI 应用开发平台，提供了一套完整的工具和 API，用于构建、管理和部署 AI 应用。

接下来在本地部署 DIfy。
在这里插入图片描述

1. 本地部署 Dify 应用开发平台

本篇文章安装环境：Linux Ubuntu22.04

使用 Docker Compose 部署：Docker 19.03 或更高版本、Docker Compose 1.25.1 或更高版本

安装 Dify 之前，请确保你的机器已满足最低安装要求：CPU>2 Core RAM>=4GB

克隆 Dify 源代码至本地环境：

git clone https://github.com/langgenius/dify.git

b08321f6a77d4bfaf93954b583972f8.png

启动 Dify：

进入 Dify 源代码的 Docker 目录

cd dify/docker

复制环境配置文件

cp .env.example .env

启动 Docker 容器

sudo docker compose up -d

运行命令后，你应该会看到类似以下的输出，显示所有容器的状态和端口映射：

b5c21e5aebb987f1055b46990f9e04a.png

最后检查是否所有容器都正常运行：

docker compose ps

然后打开一个新的浏览器，输入 localhost:80，或者本机 IP 地址:80,可以看到进入到了 Dify 中。

716e588c46dc002fbcaf4f556bba84b.png

设置管理员账号：填写邮箱、用户名、密码后，再重新登录一下

bf99bb247c6823c75016d2b9e135bd1.png

可以看到进入到了 Dify 的主界面当中

cf6340a8c09a6eb0607ce84b939d017.png

接下来配置 ollama 模型

2. 使用 Ollama 部署本地模型

打开一个新的终端，输入下方命令安装 ollama

curl -fsSL https://ollama.com/install.sh | sh

3af490763677db757ec7b147a947ced.png

运行 Ollama 并与 Llava 聊天

ollama run llava

17d5eae6a0e47134be90813662d9da6.png

启动成功后，ollama 在本地 11434 端口启动了一个 API 服务，可通过 http://localhost:11434 访问。

image.png

接下来回到 Dify 中，接入 Ollama 模型。

3. 在 Dify 中接入 Ollama 大语言模型

在 Dify 主界面，点击右上角个人名字圆圈，点击设置——模型供应商——Ollama

7cfcff463b949cc043836214a500cd1.png

点击填入：

c165ddbc25709eb89ff478031b562ad.png

  • 模型名称：llava

  • 基础 URL：http://<本机IP地址>:11434

    此处需填写可访问到的 Ollama 服务地址。

    若 Dify 为 docker 部署，建议填写局域网 IP 地址，如：http://192.168.1.100:11434 或 docker 宿主机 IP 地址，如：http://172.17.0.1:11434。

    若为本地源码部署，可填写 http://localhost:11434。

  • 模型类型：对话

  • 模型上下文长度：4096

    模型的最大上下文长度，若不清楚可填写默认值 4096。

  • 最大 token 上限：4096

    模型返回内容的最大 token 数量，若模型无特别说明，则可与模型上下文长度保持一致。

  • 是否支持 Vision：是

    当模型支持图片理解（多模态）勾选此项，如 llava。

点击 “保存” 校验无误后即可在应用中使用该模型。

如果 Ollama 作为 systemd 服务运行，应该使用systemctl设置环境变量：

  1. 通过调用sudo vim /etc/systemd/system/ollama.service 编辑 systemd 服务。这将打开一个编辑器。

  2. 对于每个环境变量，在[Service]部分下添加一行Environment：

[Service]
Environment="OLLAMA_HOST=0.0.0.0"

image.png

保存并退出

重载systemd并重启 Ollama：

systemctl daemon-reloadsystemctl restart ollama

然后再回到主页面当中，点击创建空白应用

image.png

选择聊天助手，起一个名字，点击创建

image.png

右上角选择 llava 模型

image.png

在文本框中编辑文字即可进行对话

image.png

目前我们在本机部署了 Dify，并且还添加了 Ollama 大模型，如果想团队协作多人使用，或者在异地其他设备使用的话就需要结合 Cpolar 内网穿透实现公网访问，免去了复杂得本地部署过程，只需要一个公网地址直接就可以进入到 Dify 中。

接下来教大家如何安装 Cpolar 并且将 Dify 实现公网访问。

4. 公网远程使用 Dify

下面我们在 Linux 安装 Cpolar 内网穿透工具,通过 Cpolar 转发本地端口映射的 http 公网地址,我们可以很容易实现远程访问,而无需自己注册域名购买云服务器.下面是安装 cpolar 步骤

cpolar 官网地址: https://www.cpolar.com

使用一键脚本安装命令

curl https://get.cpolar.sh | sudo sh

image-20240801132238671

安装完成后，执行下方命令查看 cpolar 服务状态：（如图所示即为正常启动）

sudo systemctl status cpolar

image.png

Cpolar 安装和成功启动服务后，在浏览器上输入 ubuntu 主机 IP 加 9200 端口即:【http://localhost:9200】访问 Cpolar 管理界面，使用 Cpolar 官网注册的账号登录,登录后即可看到 cpolar web 配置界面,接下来在 web 界面配置即可：

image-20240801133735424

4.1 创建远程连接公网地址

登录 cpolar web UI 管理界面后,点击左侧仪表盘的隧道管理——创建隧道：

  • 隧道名称：可自定义，本例使用了: dify 注意不要与已有的隧道名称重复
  • 协议：http
  • 本地地址：80
  • 域名类型：随机域名
  • 地区：选择 China Top

e236629c30c2161232c1655493d22ad.png

创建成功后,打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了两个公网地址，接下来就可以在其他电脑（异地）上，使用任意一个地址在浏览器中访问即可。

abe8c7201aca664a20a8ac320236595.png

如下图所示，成功实现使用公网地址异地远程访问本地部署的 Dify 应用开发平台！

bb5906f2d50520ec228aa78b1b8b859.png

登录可以看到同样进入到了主界面中，继续使用自己创建的应用了

383e7bb875af096a04e14da924aeec3.png

小结

为了方便演示，我们在上边的操作过程中使用了 cpolar 生成的 HTTP 公网地址隧道，其公网地址是随机生成的。

这种随机地址的优势在于建立速度快，可以立即使用。然而，它的缺点是网址是随机生成，这个地址在 24 小时内会发生随机变化，更适合于临时使用。

如果有长期远程访问本地 Dify 开发应用平台或者其他本地部署的服务的需求，但又不想每天重新配置公网地址，还想地址好看又好记，那我推荐大家选择使用固定的二级子域名方式来远程访问。

5. 固定 Dify 公网地址

由于以上使用 cpolar 所创建的隧道使用的是随机公网地址，24 小时内会随机变化，不利于长期远程访问。因此我们可以为其配置二级子域名，该地址为固定地址，不会随机变化.

注意需要将 cpolar 套餐升级至基础套餐或以上，且每个套餐对应的带宽不一样。【cpolar.cn 已备案】

登录 cpolar 官网，点击左侧的预留，选择保留二级子域名，地区选择 china vip top，然后设置一个二级子域名名称，填写备注信息，点击保留。

fe72be4b9c350c2fb34cdfb88e49320.png
保留成功后复制保留的二级子域名地址：

b732329ece62fdbbd63c7a18fb2f524.png

登录 cpolar web UI 管理界面，点击左侧仪表盘的隧道管理——隧道列表，找到所要配置的隧道，点击右侧的编辑。

修改隧道信息，将保留成功的二级子域名配置到隧道中

  • 域名类型：选择二级子域名
  • Sub Domain：填写保留成功的二级子域名
  • 地区: China VIP

点击更新

463706456a7806bb596036ec151044a.png

更新完成后，打开在线隧道列表，此时可以看到随机的公网地址已经发生变化，地址名称也变成了保留和固定的二级子域名名称。

82274f0c737fed53d9b60a375935c82.png

最后，我们使用固定的公网地址访问 Dify 界面可以看到访问成功，一个永久不会变化的远程访问方式即设置好了。

5315f47a37dae1b8a7663b1d1d64ba6.png

e7ff73577b4f9266a4fba38ded512d3.png

接下来就可以随时随地进行异地公网来使用 Dify 开发应用平台了，把固定的公网地址分享给身边的人，方便团队协作，同时也大大提高了工作效率！自己用的话，无需云服务器，还可以实现异地其他设备登录！以上就是如何在本地安装 Dify 并搭建 Ollama 的全部过程。

觉得有用的话点个赞 👍🏻 呗。
❤️❤️❤️本人水平有限，如有纰漏，欢迎各位大佬评论批评指正！😄😄😄

💘💘💘如果觉得这篇文对你有帮助的话，也请给个点赞、收藏下吧，非常感谢!👍 👍 👍

🔥🔥🔥Stay Hungry Stay Foolish 道阻且长,行则将至,让我们一起加油吧！🌙🌙🌙

img

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/419505.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Nginx解析：入门笔记

Nginx解析：入门笔记

&#x1f308; 个人主页&#xff1a;danci_ &#x1f525; 系列专栏&#xff1a;《设计模式》《MYSQL》 &#x1f4aa;&#x1f3fb; 制定明确可量化的目标&#xff0c;坚持默默的做事。 ✨欢迎加入探索nginx之旅✨ &#x1f44b; 大家好&#xff01;文本学习和探索Nginx配置。…
阅读更多...
认知杂谈52

认知杂谈52

今天分享 有人说的一段争议性的话 I I 1拓展人脉很重要** 咱们活在这世上啊&#xff0c;得明白一件事儿&#xff0c;知识、逻辑能力和实战经验虽然重要&#xff0c;但确实都不是最关键的。真正关键的是要懂得怎么和那些手里有资源的人打交道。人脉那可真是一笔无形的大财富呢…
阅读更多...
论文解读：《LAMM: Label Alignment for Multi-Modal Prompt Learning》

论文解读：《LAMM: Label Alignment for Multi-Modal Prompt Learning》

系列文章目录 文章目录 系列文章目录LAMM: Label Alignment for Multi-Modal Prompt Learning学习1、论文细节理解1、研究背景2、论文贡献3、方法框架4、研究思路5、实验6、限制 LAMM: Label Alignment for Multi-Modal Prompt Learning学习 1、论文细节理解 VL模型和下游任务…
阅读更多...
C++ | Leetcode C++题解之第394题字符串解码

C++ | Leetcode C++题解之第394题字符串解码

题目&#xff1a; 题解&#xff1a; class Solution { public:string src; size_t ptr;int getDigits() {int ret 0;while (ptr < src.size() && isdigit(src[ptr])) {ret ret * 10 src[ptr] - 0;}return ret;}string getString() {if (ptr src.size() || src[…
阅读更多...
JS_对象的创建

JS_对象的创建

JS声明对象的语法 通过new Object()直接创建对象 var person new Object(); // 给对象添加属性并赋值 person.name"张明"; person.age10; person.foods["苹果","橘子","香蕉","葡萄"]; // 给对象添加功能函数 person.eat …
阅读更多...
数学建模笔记—— 主成分分析（PCA)

数学建模笔记—— 主成分分析（PCA)

数学建模笔记—— 主成分分析 主成分分析1. 基本原理1.1 主成分分析方法1.2 数据降维1.3 主成分分析原理1.4 主成分分析思想 2. PCA的计算步骤3. 典型例题4. 主成分分析说明5. python代码实现 主成分分析 1. 基本原理 在实际问题研究中,多变量问题是经常会遇到的。变量太多,无…
阅读更多...
顶层const和底层const

顶层const和底层const

在C中&#xff0c;const修饰符用于声明常量&#xff0c;有两种常见的形式&#xff1a;顶层const和底层const&#xff0c;它们之间的区别在于它们修饰的对象及其在不同场景中的作用。 1. 顶层const (Top-level const) 顶层const用于修饰变量本身&#xff0c;使其成为常量。这意…
阅读更多...
Jenkins 通过 Version Number Plugin 自动生成和管理构建的版本号

Jenkins 通过 Version Number Plugin 自动生成和管理构建的版本号

步骤 1&#xff1a;安装 Version Number Plugin 登录 Jenkins 的管理界面。进入 “Manage Jenkins” -> “Manage Plugins”。在 “Available” 选项卡中搜索 “Version Number Plugin”。选中并安装插件&#xff0c;完成后可能需要重启 Jenkins。 步骤 2&#xff1a;配置…
阅读更多...
SQL进阶技巧：每年在校人数统计 | 区间重叠问题

SQL进阶技巧：每年在校人数统计 | 区间重叠问题

目录 0 问题分析 1 数据准备 2 问题分析 3 小结 区间重叠问题 0 问题分析 有一个录取学生人数表 in_school_stu，记录的是每年录取学生的人数及录取学生的学制，计算每年在校学生人数。 1 数据准备 create table in_school_stu as ( select stack(5,1,2001,2,1200,2,2000…
阅读更多...
Sui Narwhal and Tusk 共识协议笔记

Sui Narwhal and Tusk 共识协议笔记

一、Overwiew [ 整体流程： Client提交transaction到Narwhal Mempool。（Narwhal Mempool由一组worker和一个primary组成） Mempool接收到的Transaction->以Certificate的形式进行广播 由worker将交易打包为Batch，worker将Batch的hash发送给primary primary上运行了mempo…
阅读更多...
关系代数 | 数据库SQL

关系代数 | 数据库SQL

文章目录 关系运算符笛卡尔积笛卡尔积应用 运算符符号含义集合运算符并∪交∩差-笛卡尔积专门的关系运算符选择σ投影π连接⋈除 关系运算符 笛卡尔积 集合运算符中&#xff0c;主要对笛卡尔积做解释&#xff1a; 在数学中&#xff0c;两个集合X和Y的笛卡儿积&#xff08;英语…
阅读更多...
ThreadLocal 释放的方式有哪些

ThreadLocal 释放的方式有哪些

ThreadLocal基础概念&#xff1a;IT-BLOG-CN ThreadLocal是Java中用于在同一个线程中存储和隔离变量的一种机制。通常情况下&#xff0c;我们使用ThreadLocal来存储线程独有的变量&#xff0c;并在任务完成后通过remove方法清理这些变量&#xff0c;以防止内存泄漏。然而&…
阅读更多...
使用 WebStorm 导入已有的 Vue 项目并运行的步骤与注意事项

使用 WebStorm 导入已有的 Vue 项目并运行的步骤与注意事项

目录 1. 引言2. WebStorm 环境准备2.1 安装 WebStorm2.2 配置 Node.js 和 npm2.3 使用 nvm 管理 Node.js 和 npm 版本2.4 npm 版本与 Vue 版本对应关系 3. 导入已有的 Vue 项目3.1 打开 Vue 项目3.2 安装项目依赖3.3 使用 nvm 控制 Node.js 和 npm 版本 4. 运行 Vue 项目4.1 启…
阅读更多...
软件工程-图书管理系统的概要设计

软件工程-图书管理系统的概要设计

软件概要设计说明书 目录 软件概要设计说明书 一、引言 1.1 编写目的 1.2 背景 1.3 定义 1.3.1特定对象 1.3.2专业术语 1.4 参考资料 二、总体设计 2.1 需求规定 2.1.1信息要求 2.1.2功能要求 2.2 运行环境 2.3 基本概要设计和处理流程 2.4 体系结构设计 2.5 模…
阅读更多...
从戴尔公司中国大饭店DTF大会，看科技外企如何在中国市场发展

从戴尔公司中国大饭店DTF大会，看科技外企如何在中国市场发展

【科技明说 &#xff5c; 科技热点关注】 2024戴尔科技峰会在8月如期举行&#xff0c;虽然因事未能抵达现场参加&#xff0c;我只是观看了网上在线直播&#xff0c;也未能采访到DTF现场重要与会者&#xff0c;但是通过数十年对戴尔的跟踪与观察&#xff0c;我觉得2024戴尔科技…
阅读更多...
基于Java+SpringBoot+Vue+MySQL的美容美发管理系统

基于Java+SpringBoot+Vue+MySQL的美容美发管理系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、SSM项目源码 系统展示 基于SpringBootVue的美容美发管理系统【附源码文档】、前后…
阅读更多...
const、inline、nullptr的使用

const、inline、nullptr的使用

目录 1.const引用 1.1权限的放大 1.2权限的缩小 2.inline 3.nullptr 1.const引用 可以引用一个const对象&#xff0c;但是必须用const引用。const引用也可以引用普通对象&#xff0c;因为对象的访问权限在引用过程中可以缩小&#xff0c;但是不能放大。 不需要注意的是类…
阅读更多...
uniapp 实现tabbar图标凸起

uniapp 实现tabbar图标凸起

实现tabbar图标凸起有两种&#xff0c;第一种是自定义tabbar&#xff0c;第二种就是使用官方的tabbar跟api实现&#xff0c;自定义在体验中不如原生的tabbar&#xff0c;所以我下面展示的是使用官方的tabbar跟api实现 效果如图&#xff1a; 左边是未选中中间的凸起&#xff0c…
阅读更多...
大模型推理--KV Cache

大模型推理--KV Cache

KV Cache是大模型推理中常用到的一个技巧&#xff0c;可以减少重复计算&#xff0c;加快推理速度。不少人只是从概念上知道它可以减少重复计算&#xff0c;详细的原理则知之甚少&#xff0c;此外为啥只有KV Cache而没有Q Cache呢&#xff0c;我们在本博客中给出详尽的解释。我想…
阅读更多...
一些硬件知识（十八）

一些硬件知识（十八）

两个信号PIN之间串接电阻的作用&#xff1a; 1.阻抗匹配 2.吸收反射 3.防止程序异常导致两个IO都是输出的时候短路 尤其针对下图中的信号&#xff1a; 清理穿越机电机中的灰尘&#xff0c;可以用密封胶泥的办法&#xff1a; 一定要小心垫片的掉落&#xff1a; 20块左右的快充充…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023