MacOS下使用Ollama本地构建DeepSeek并使用本地Dify构建AI应用

目录

  • 1 大白话说一下文章内容
  • 2 作者的电脑配置
  • 3 DeepSeek的本地部署
    • 3.1 Ollamal的下载和安装
    • 3.2 选择合适的deepseek模型
    • 3.3 安转deepseek
  • 4 Dify+DeepSeek构建Al应用
    • 4.1 Dify的安装
      • 4.1.1 前置条件
      • 4.1.2 拉取代码
      • 4.1.3 启动Dify
    • 4.2 Dify控制页面
    • 4.3 使用Dify实现个“文章标题生成器”应用
    • 4.4 “探索”模块404处理
  • 5 增语

1 大白话说一下文章内容

本篇文章基于Ollamal搭建本地DeepSeek，Ollamal是一个可以构建大模型的工具，Ollamal也提供了很多模型。
本地部署了Dify，使用Dify做了个简单的AI应用，Dify是一个大模型应用构建工具，可以快速搭建和部署生成式Al应用程序。
内容里也记录了作者本人踩的很多坑！！供大家避雷！！！

2 作者的电脑配置

在这里插入图片描述
基于下面版本的大模型，本地跑了几个测试，微微热，电脑CPU 50%左右

3 DeepSeek的本地部署

Ollamal是一个开源框架，作用是在本地机器上便捷部署和运行大型语言模型(LLM)。

3.1 Ollamal的下载和安装

访问https://ollama.com/进入Ollama官网下载Ollama,要选择下载对应的操作系统版本即可
在这里插入图片描述
我的是mac版本的，下载好了傻瓜式安装后就是这样
在这里插入图片描述
因为我不安装llama模型，所以先不执行，直接关闭。

3.2 选择合适的deepseek模型

进入https://ollama.com中，选择Deepseek-r1（ps：或者你喜欢其他模型你也可以选择其他模型）
在这里插入图片描述
根据自己电脑的硬件配置来选择模型大小，我这里选择的是deepseek-r1的7b，点击它！（ps：这里的b代表了10亿，表示大模型下的一个神经元就有7*10亿的参数）
在这里插入图片描述

3.3 安转deepseek

复制安装命令如下，回到命令提示符窗口，将复制的命令粘贴到命令提示符窗口中并按回车键即可下载模型

ollama run deepseek-r1:7b

在这里插入图片描述
静静等待拉取结束，然后你就可以问他问题啦！

下面命令是启动命令，如果你部署了其他模型，模型名称是你部署的模型的名称

ollama run 模型名称

在这里插入图片描述

下面命令是关闭大模型

/bye

在这里插入图片描述

到这你就有个本地的大模型啦！（eg：我的电脑配置跑这个模型难一点的问题会稍稍热，不过也能带动。）

4 Dify+DeepSeek构建Al应用

Didy是一个开源的大语言模型(Large Language Model,LLM)应用开发平台。它融合了后端即服务(Backend as a Service,BaaS)和LLMOps的理念，旨在帮助开发者，甚至是非技术人员，能够快速搭建和部署生成式Al应用程序。
Dify内置了构建LLM应用所需的关键技术栈，包括对数百个模型的支持、直观的Prompt编排界面、高质量的RAG引擎、稳健的Agent框架、灵活的流程编排，并同时提供了一套易用的界面。
更细节的功能可以参考：Dify官网
在这里插入图片描述

4.1 Dify的安装

4.1.1 前置条件

  1. 确保你的电脑上有docker和docker-compose，因为dift是用docker-compose启动的
  2. 计算机要求：CPU >= 2 Core CPU = 2核心 RAM >= 4 GiB RAM>= 4 GiB

4.1.2 拉取代码

github地址：dify

拉取代码到本地：

git clone https://github.com/langgenius/dify.git

下载下来的文件就长下面的样子
在这里插入图片描述

4.1.3 启动Dify

执行指令：

cd dify
cd docker
cp .env.example .env

在这里插入图片描述

这里建议你本地部署切到1.0.0-beta.1这个tag下，因为新版的包的镜像好多都很难拉下来

切换到tag1.0.0-beta.1，执行指令：

git checkout 1.0.0-beta.1

在这里插入图片描述

执行下面指令启动dify

docker compose up -d

可能会遇到镜像拉不下来的错误
在这里插入图片描述
你看见这种超时的报错：Error response from daemon: Get “https://registry-1.docker.io/v2/”: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)
或者是握手超时的报错（ps：没那条报错记录了）
或者是这种错误：Error response from daemon: Get “https://registry-1.docker.io/v2/”: context deadline exceeded

你就再次尝试！！！频繁尝试！！有志者事竟成！！
在这里插入图片描述
终于在我不懈的努力下，都拉取成功，最终成功的样子会展示成这样！都是对号✅！如果不是，请继续执行 docker compose up -d
在这里插入图片描述
如果你部署其他版本的dify，很容易出现某个镜像拉不下来的原因，我是基于下面这个docker镜像库拉取的，你也可以尝试一下！

修改daemon.json文件，配置镜像库：

sudo vim /etc/docker/daemon.json

{"registry-mirrors": ["https://docker.1panel.live","https://docker.nju.edu.cn","https://docker.m.daocloud.io","https://dockerproxy.com","https://hub-mirror.c.163.com","https://docker.mirrors.ustc.edu.cn","https://registry.docker-cn.com","https://registry.cn-hangzhou.aliyuncs.com"]
}

配置完了docker仓库要记得重启！

4.2 Dify控制页面

dify部署成功了，登录dify的首页看一下,浏览器访问：http://localhost/install
设置管理员账号、密码、邮箱信息，这个账户是最大权限的账户！！
在这里插入图片描述
设置后会跳到
在这里插入图片描述
登录后就到了管理界面了，因为我自己调试了dify，增加了几个应用，所以展示如下，首次登录只有创建应用
在这里插入图片描述
配置上文中本地搭建好的deepseek-r1 7b大模型，右上角的设置
在这里插入图片描述
选择ollama点击安装，因为我已经安装了，所以展示个通义千文的
在这里插入图片描述
安装后会让你配模型，配置如下，你可以自我调整
在这里插入图片描述
这里有个两个坑：

  1. 上面的模型名称一定要和你下载的模型名称一模一样，就是在ollama中下载的模型名称
  2. 基础url配置有两种配置方式
    配置一：http://host.docker.internal:11434/
    11434是ollama默认端口，ollama运行在宿主机上，dify运行在docker容器中，网络不通，这里这样配置可以使docker能访问到ollama
    配置二：终端输入launchctl setenv OLLAMA_HOST "0.0.0.0"，重启ollama
    将ollama的环境变量设置值 “0.0.0.0”，它允许从同一台机器上的不同网络接口访问服务

有的大模型不支持高级配置，我这里又装了个大模型，配置如下，自行拉取
在这里插入图片描述

配置好大模型的dify应该是这样的，忽略这个图片坏了。。。
在这里插入图片描述
到此dify就和deepseek整合了，接下来看看dify怎么使用deepseek

4.3 使用Dify实现个“文章标题生成器”应用

创建个空白的应用：
在这里插入图片描述
根据需求创建应用，因为我想实现个“文章标题生成器”，那么我这里就选择，文本生成应用
在这里插入图片描述
首次登录需要配置一下大模型，按照引导配就行了，也可以在右上角切换大模型
在这里插入图片描述
我这个应用就是想根据关键字和话题生成少于规定字数的几个标题

该应用配置如下：
可以声明变量，变量结合提示词会一起执行
在这里插入图片描述

因为设置了变量，运行之前需要填一些内容
在这里插入图片描述
返回结果如上，因为这里接入的是R1的推理模型，所以还会返回推理过程，如果这里想只返回内容可以接入指令模型！！！

最后介绍一下发布这个模块
在这里插入图片描述
这个更新会保存你的内容到数据库中，下次打开会保留你的设置

介绍一下嵌入网站，它可以生成代码嵌入到你的前端页面，也可以作为Chrome浏览器扩展应用使用
在这里插入图片描述

也可以调用api的方式获取到该dify的运行结果、日志等
点击访问API，会弹出对应的应用的api调用方式，可以基于自己的应用去调用，api中涉及的API密钥在右上角
在这里插入图片描述

4.4 “探索”模块404处理

点击中上方的“探索”展示404！！！404是啥啊？？找不到页面呗！！

配置一下nginx，进入到dify的文件夹下，我的地址路径是这样的：

cd /Users/liuyang/AI本地搭建/dify/docker/nginx/conf.d

修改vim default.conf.template文件：

vim default.conf.template

增加配置：

location /explore {proxy_pass http://web:3000;  # 确保请求路由到 web 服务include proxy.conf;
}

在这里插入图片描述
然后重启nginx容器就可以啦！！！

执行命令：

docker restart docker-nginx-1

在这里插入图片描述
等待重启好了，再去访问“探索”模块
在这里插入图片描述
这里展示的都是英文，在设置设置成简体中文再切回来就变成中文啦！
在这里插入图片描述
再看一下！
在这里插入图片描述

很帅！！！！

5 增语

Dify还可以使用工具哦！！结合应用类型，再结合你的业务，可以实现很多AI功能，可以参考一下探索看看别人配的！！借鉴一下！！
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/21228.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

图论 之 DFS

图论 之 DFS

文章目录 1971.寻找图中是否存在路径797.所有可能的路径841.钥匙和房间 DFS的遍历的模版大差不差，主要是区别题目中的图是否是有环的？题目求解的是可达问题，路径数量问题 开始的时候，如果题目中的边的记录没有转化为邻接表的形式&…
阅读更多...
《跟李沐学 AI》AlexNet论文逐段精读学习心得 | PyTorch 深度学习实战

《跟李沐学 AI》AlexNet论文逐段精读学习心得 | PyTorch 深度学习实战

前一篇文章，使用 AlexNet 实现图片分类 | PyTorch 深度学习实战 本系列文章 GitHub Repo: https://github.com/hailiang-wang/pytorch-get-started 本篇文章内容来自于学习 9年后重读深度学习奠基作之一：AlexNet【下】【论文精读】】的心得。 《跟李沐…
阅读更多...
武汉火影数字|VR沉浸式空间制作 VR大空间打造

武汉火影数字|VR沉浸式空间制作 VR大空间打造

VR沉浸式空间制作是指通过虚拟现实技术创建一个逼真的三维环境，让用户能够沉浸在这个环境中，彷佛置身于一个全新的世界。 也许你会好奇，VR 沉浸式空间究竟是如何将我们带入那奇妙的虚拟世界的呢？这背后，离不开一系列关…
阅读更多...
ARM-Linux 基础项目篇——简单的视频监控

ARM-Linux 基础项目篇——简单的视频监控

该基础项目为后面的 AI 安防项目做铺垫。使用 Qt 的网络编程方案来实现，后期再实现流媒体协议的方案。使用 ov2640 摄像头。 一、实现流程 （1） 服务器采集摄像头的数据。 （2） 处理视频数据转交给 Socket，…
阅读更多...
使用Selenium进行网页自动化

使用Selenium进行网页自动化

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 Selenium是一个流行的Web自动化测试框架，它支持多种编程语言和浏览器，并提供了丰富的API和工具来模拟用户在浏览器中的行为。Selenium可以通…
阅读更多...
网络技术变迁：从IPv4走向IPv6

网络技术变迁：从IPv4走向IPv6

目录 前言 旧时代产物：IPv4 什么是IPv4？ IPv4的工作方式 IPv4的缺点 为什么要从IPv4过渡到IPv6？ 走向IPv6：新一代互联网协议 IPv6的技术特性 我们需要过渡技术 双栈（Dual Stack） 隧道技术&#…
阅读更多...
AI交互数字人：定向知识库，大语言模型构建AI数字人“智慧大脑”

AI交互数字人：定向知识库，大语言模型构建AI数字人“智慧大脑”

2025年年初，杭州深度求索推出的 开源大语言模型横空出世，犹如一枚重磅炸弹投入市场，迅速引发了广泛关注。它不仅在国内掀起了讨论热潮，更是凭借强的影响力，成功冲击了美国AI 市场，成为了 2025 年国内外瞩目…
阅读更多...
用大内存主机下载Visual Studio

用大内存主机下载Visual Studio

用一台内存达到128G的主机下载Visual Studio 2022，用的是公司网络。下载速度让我吃了一惊，没人用网络了？还是网站提速了？以前最大只能达到5MB/秒。记录这段经历，是用来分析公司网络用的......
阅读更多...
DeepSeek操作Excel，实现图表自动化生成

DeepSeek操作Excel，实现图表自动化生成

案例 让DeepSeek操作Excel，实现图表自动化生成。我们只要用自然语言输入我们的需求（根据哪块单元格区域做什么图表），就可以直接在Excel中自动生成图表。 操作主界面和图表效果 设置接入方式 这里提供了多种接入方式将DeepSeek接…
阅读更多...
DP-最长公共子序列

DP-最长公共子序列

题面： 样例： 思路： 这里我们状态表示确实比较奇怪，两个序列用二维来表示比较好想，但是这个表示的意义就记住吧hhh。这里比较难想的是状态划分，既然我们想要用前面的来表示后面的（也就是说要用到…
阅读更多...
DVWA-DOM型XSS全等级绕过方法

DVWA-DOM型XSS全等级绕过方法

DOM型XSS全等级绕过 前言一、LOW级别二、Medium级别 图片插入语句法 三、High级别 字符 # 绕过服务端过滤 四、Impossible级别 前言 DOM，全称Document Object Model，是一个平台和语言都中立的接口，可以使程序和脚本能够动态访问和更新文档…
阅读更多...
人工智能与自闭症的研究现状及未来趋势

人工智能与自闭症的研究现状及未来趋势

人工智能与自闭症的研究现状及未来趋势 摘要：本研究旨在通过文献计量学方法，分析人工智能领域内关于自闭症研究的现状与未来趋势。研究基于中国知网（CNKI）、万方数据库（WanFang）、维普数据库（V…
阅读更多...
zero自动化框架搭建---Git安装详解

zero自动化框架搭建---Git安装详解

一、Git下载 下载安装包 官网下载 下载的地址就是官网即可：Git - Downloads 进来直接选择windows的安装包下载 选择安装位置 双击安装包安装，选择安装地址后点击next 选择安装的组件，默认即可 也可按照需要自行选择 Windows Explorer i…
阅读更多...
【精调】LLaMA-Factory 快速开始1: Meta-Llama-3.1-8B-Instruct

【精调】LLaMA-Factory 快速开始1: Meta-Llama-3.1-8B-Instruct

llamafactory-cli train examples/train_lora/llama3_lora_sft.yaml llamafactory-cli chat examples/inference/llama3_lora_sft.yaml llamafactory-cli export examples/merge_lora/llama3_lora_sft.yaml模型下载 git clone https://www.modelscope.cn/LLM-Research/Meta-Lla…
阅读更多...
服务器创建conda环境并安装使用jupyter

服务器创建conda环境并安装使用jupyter

1.创建conda环境 conda create --name myenv python3.8 conda activate myenv其中 myenv 是您想要创建的环境名称，可以根据需要替换为其他名称。2.安装juypter conda install jupyter3.启动juypter jupyter notebook复制链接到浏览器打开 4.设置jupyter使用的 …
阅读更多...
树莓派 4B：AI 物联网完整部署方案

树莓派 4B：AI 物联网完整部署方案

引言 人工智能（AI）和物联网（IoT）正在快速融合，使得智能监控、工业自动化、智能家居等场景变得更加智能化。树莓派 4B 作为一款低功耗、高性价比的嵌入式计算平台，可以运行 AI 模型，并结合 IoT …
阅读更多...
JVM类文件结构深度解析：跨平台基石与字节码探秘

JVM类文件结构深度解析：跨平台基石与字节码探秘

目录 一、类文件：Java生态的通用语言 1.1 字节码的桥梁作用 1.2 类文件核心优势 二、类文件二进制结构剖析 2.1 整体结构布局 2.2 魔数与版本控制 2.3 常量池：类文件的资源仓库 2.4 访问标志位解析 三、核心数据结构详解 3.1 方法表结构 3.2 …
阅读更多...
亲测可用，IDEA中使用满血版DeepSeek R1！支持深度思考！免费！免配置！

亲测可用，IDEA中使用满血版DeepSeek R1！支持深度思考！免费！免配置！

作者：程序员 Hollis 之前介绍过在IDEA中使用DeepSeek的方案，但是很多人表示还是用的不够爽，比如用CodeChat的方案，只支持V3版本，不支持带推理的R1。想要配置R1的话有特别的麻烦。 那么，今天，给…
阅读更多...
Java语法-集合

Java语法-集合

Java语法 Day19 晨考 Collections工具类 /* Collection 集合工具类 此类中的方法全部为静态方法 此类种提供了用于操作集合的各种方法swap(List<?> list,int i,int j) 交换指定位置的集合中的元素 sort(List<T> list,Comparator<? super T> c) 根…
阅读更多...
网络缓存加速技术解析：从诞生到演进

网络缓存加速技术解析：从诞生到演进

目录 早期探索&#xff1a;浏览器缓存的出现 网络架构升级&#xff1a;代理服务器缓存的应用 全球化加速&#xff1a;CDN 缓存的崛起深入了解CDNhttps://blog.csdn.net/m0_68472908/article/details/145744082?spm1001.2014.3001.5501 技术革新&#xff1a;HTTP/2 协议带来…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023