Deepseek本地部署指南：在linux服务器部署，在mac远程web-ui访问

1. 在Linux服务器上部署DeepSeek模型

要在 Linux 上通过 Ollama 安装和使用模型，您可以按照以下步骤进行操作：

步骤 1：安装 Ollama

  1. 安装 Ollama：
    使用以下命令安装 Ollama：

    curl -sSfL https://ollama.com/download.sh | sh

  2. 验证安装：
    安装完成后，您可以通过以下命令验证 Ollama 是否安装成功：

    ollama --version

在这里插入图片描述

步骤 2：下载模型

ollama run deepseek-r1:32b

这将下载并启动DeepSeek R1 32B模型。
在这里插入图片描述

DeepSeek R1 蒸馏模型列表

模型名称参数量基础架构适用场景
DeepSeek-R1-Distill-Qwen-1.5B1.5BQwen2.5适合移动设备或资源受限的终端
DeepSeek-R1-Distill-Qwen-7B7BQwen2.5适合普通文本生成工具
DeepSeek-R1-Distill-Llama-8B8BLlama3.1适合小型企业日常文本处理
DeepSeek-R1-Distill-Qwen-14B14BQwen2.5适合桌面级应用
DeepSeek-R1-Distill-Qwen-32B32BQwen2.5适合专业领域知识问答系统
DeepSeek-R1-Distill-Llama-70B70BLlama3.3适合科研、学术研究等高要求场景

RTX 4090 显卡显存为 24GB，32B 模型在 4-bit 量化下约需 22GB 显存，适合该硬件。32B 模型在推理基准测试中表现优异，接近 70B 模型的推理能力，但对硬件资源需求更低。

步骤 3：运行模型

在这里插入图片描述
通过上面的步骤，已经可以直接在 Linux服务器通过命令行的形式使用Deepseek了。但是不够友好，下面介绍更方便的形式。

2. 在linux服务器配置Ollama服务

1. 设置Ollama服务配置
设置OLLAMA_HOST=0.0.0.0环境变量，这使得Ollama服务能够监听所有网络接口，从而允许远程访问。

sudo vi /etc/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="OLLAMA_HOST=0.0.0.0"
Environment="PATH=/usr/local/cuda/bin:/home/bytedance/miniconda3/bin:/home/bytedance/miniconda3/condabin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin"[Install]
WantedBy=default.target

2. 重新加载并重启Ollama服务

sudo systemctl daemon-reload
sudo systemctl restart ollama
  1. 验证Ollama服务是否正常运行
    运行以下命令，确保Ollama服务正在监听所有网络接口：
sudo netstat -tulpn | grep ollama

您应该看到类似以下的输出，表明Ollama服务正在监听所有网络接口（0.0.0.0）：

tcp        0      0 0.0.0.0:11434           0.0.0.0:*               LISTEN      -                   ollama

4. 配置防火墙以允许远程访问

为了确保您的Linux服务器允许从外部访问Ollama服务，您需要配置防火墙以允许通过端口11434的流量。

sudo ufw allow 11434/tcp
sudo ufw reload

5. 验证防火墙规则
确保防火墙规则已正确添加，并且端口11434已开放。您可以使用以下命令检查防火墙状态：

sudo ufw status

状态： 激活至                          动作          来自
-                          --          --
22/tcp                     ALLOW       Anywhere                  
11434/tcp                  ALLOW       Anywhere                  
22/tcp (v6)                ALLOW       Anywhere (v6)             
11434/tcp (v6)             ALLOW       Anywhere (v6)

6. 测试远程访问
在完成上述配置后，您可以通过远程设备（如Mac）测试对Ollama服务的访问。
在远程设备上测试连接：
在Mac上打开终端，运行以下命令以测试对Ollama服务的连接：

curl http://10.70.83.38:11434/api/version

显示

{"version":"0.5.7"}

测试问答

(base) ➜  ~ curl -X POST http://10.70.83.38:11434/api/generate \-H "Content-Type: application/json" \-d '{"model": "deepseek-r1:32b", "prompt": "你是谁?"}'

显示

{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.118616168Z","response":"\u003cthink\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.150938966Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.175255854Z","response":"\u003c/think\u003e","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.199509353Z","response":"\n\n","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.223657359Z","response":"您好","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.24788375Z","response":"！","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.272068174Z","response":"我是","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.296163417Z","response":"由","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.320515728Z","response":"中国的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.344646528Z","response":"深度","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.36880216Z","response":"求","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.393006489Z","response":"索","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.417115966Z","response":"（","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.441321254Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.465439117Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.489619415Z","response":"）","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.51381827Z","response":"公司","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.538012781Z","response":"开发","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.562186246Z","response":"的","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.586331325Z","response":"智能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.610539651Z","response":"助手","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.634769989Z","response":"Deep","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.659134003Z","response":"Seek","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.683523205Z","response":"-R","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.70761762Z","response":"1","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.731953604Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.756135462Z","response":"如","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.783480232Z","response":"您","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.807766337Z","response":"有任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.831964079Z","response":"任何","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.856229156Z","response":"问题","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.880487159Z","response":"，","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.904710537Z","response":"我会","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.929026993Z","response":"尽","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.953239249Z","response":"我","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:15.977496819Z","response":"所能","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.001763128Z","response":"为您提供","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.026068523Z","response":"帮助","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.050242581Z","response":"。","done":false}
{"model":"deepseek-r1:32b","created_at":"2025-02-06T00:47:16.074454593Z","response":"","done":true,"done_reason":"stop","context":[151644,105043,100165,30,151645,151648,271,151649,198,198,111308,6313,104198,67071,105538,102217,30918,50984,9909,33464,39350,7552,73218,100013,9370,100168,110498,33464,39350,12,49,16,1773,29524,87026,110117,99885,86119,3837,105351,99739,35946,111079,113445,100364,1773],"total_duration":3872978599,"load_duration":2811407308,"prompt_eval_count":6,"prompt_eval_duration":102000000,"eval_count":40,"eval_duration":958000000}

通过上述步骤，已经成功在Linux服务器上配置了Ollama服务，并通过Mac远程访问了DeepSeek模型。接下来，将介绍如何在Mac上安装Web UI，以便更方便地与模型进行交互。

3. 在Mac上安装Web UI

为了更方便地与远程Linux服务器上的DeepSeek模型进行交互，可以在Mac上安装一个Web UI工具。这里我们推荐使用 Open Web UI，它是一个基于Web的界面，支持多种AI模型，包括Ollama。

1. 通过conda安装open-webui
打开终端，运行以下命令创建一个新的conda环境，并指定Python版本为3.11：

conda create -n open-webui-env python=3.11
conda activate open-webui-env
pip install open-webui

2. 启动open-webui

open-webui serve

在这里插入图片描述

3. 浏览器访问

http://localhost:8080/
  1. 使用管理员身份（第一个注册用户）登录
  2. 在Open webui界面中，依次点击“展开左侧栏”（左上角三道杠）–>“头像”（左下角）–>管理员面板–>设置（上侧）–>外部连接
  3. 在外部连接的Ollama API一栏将switch开关打开，在栏中填上http://10.70.83.38:11434（这是我的服务器地址）在这里插入图片描述
  4. 点击右下角“保存”按钮
  5. 点击“新对话”（左上角），确定是否正确刷出模型列表，如果正确刷出，则设置完毕。

4. 愉快的使用本地deepseek模型
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/13971.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

go并发和并行

go并发和并行

进程和线程 进程（Process）就是程序在操作系统中的一次执行过程，是系统进行资源分配和调度的基本单位，进程是一个动态概念，是程序在执行过程中分配和管理资源的基本单位，每一个进程都有一个自己的地址空间。…
阅读更多...
element-ui rate 组件源码分享

element-ui rate 组件源码分享

评分组件，从三个方面分享： 1、页面结构。 2、组件属性。 3、组件方法。 一、页面结构： 主要有图标的、图标(默认或自定义图标)文字的、图标分数的。 二、属性。 2.1 value 2.2 max 最大分数。 2.3 disabled 是否只读 2.4 allow-half 是…
阅读更多...
python学opencv|读取图像（五十六）使用cv2.GaussianBlur()函数实现图像像素高斯滤波处理

python学opencv|读取图像（五十六）使用cv2.GaussianBlur()函数实现图像像素高斯滤波处理

【1】引言 前序学习了均值滤波和中值滤波，对图像的滤波处理有了基础认知，相关文章链接为： python学opencv|读取图像（五十四）使用cv2.blur()函数实现图像像素均值处理-CSDN博客 python学opencv|读取图像（…
阅读更多...
HIVE如何注册UDF函数

HIVE如何注册UDF函数

如果注册UDF函数的时候报了上面的错误，说明hdfs上传的路径不正确， 一定要用下面的命令 hadoop fs -put /tmp/hive/111.jar /user/hive/warehouse 一定要上传到上面路径，这样在创建函数时，引用下面的地址就可以创建成功
阅读更多...
紧跟潮流，将 DeepSeek 集成到 VSCode

紧跟潮流，将 DeepSeek 集成到 VSCode

Visual Studio Code（简称 VSCode）是一款由微软开发的免费开源代码编辑器，自 2015 年发布以来，凭借其轻便、强大、且拥有丰富扩展生态的特点，迅速成为了全球开发者的首选工具。VSCode 支持多平台操作系统，包…
阅读更多...
HAL库 Systick定时器 基于STM32F103EZT6 野火霸道,可做参考

HAL库 Systick定时器 基于STM32F103EZT6 野火霸道,可做参考

目录 1.时钟选择(这里选择高速外部时钟) ​编辑 2.调试模式和时基源选择: 3.LED的GPIO配置 这里用板子的红灯PB5 4.工程配置 5.1ms的systick中断实现led闪烁 源码: 6.修改systick的中断频率 7.systick定时原理 SysTick 定时器的工作原理 中断触发机制 HAL_SYSTICK_Co…
阅读更多...
DeepSeek与llama本地部署(含WebUI)

DeepSeek与llama本地部署(含WebUI)

DeepSeek从2025年1月起开始火爆，成为全球最炙手可热的大模型，各大媒体争相报道。我们可以和文心一言一样去官网进行DeepSeek的使用，那如果有读者希望将大模型部署在本地应该怎么做呢？本篇文章将会教你如何在本地傻瓜式的部署我们的…
阅读更多...
【重新认识C语言----文件管理篇】

【重新认识C语言----文件管理篇】

目录 ​编辑 -----------------------------------------begin------------------------------------- 引言 1. 文件的基本概念 2. 文件指针 3. 文件的打开与关闭 3.1 打开文件 3.2 关闭文件 4. 文件的读写操作 4.1 读取文件 4.1.1 使用fgetc()读取文件 4.1.2 使用fg…
阅读更多...
全面解析String类

全面解析String类

一、String 类初相识 在 C 语言的世界里，字符串是以\0结尾的字符集合，为了方便操作，C 标准库提供了一系列str系列的库函数，如strcpy、strcat、strlen等。虽然这些库函数在一定程度上满足了我们对字符串的操作需求，但是…
阅读更多...
pycharm 中的 Mark Directory As 的作用是什么？

pycharm 中的 Mark Directory As 的作用是什么？

文章目录 Mark Directory As 的作用PYTHONPATH 是什么PYTHONPATH 作用注意事项 Mark Directory As 的作用 可以查看官网：https://www.jetbrains.com/help/pycharm/project-structure-dialog.html#-9p9rve_3 我们这里以 Mark Directory As Sources 为例进行介绍。 这…
阅读更多...
MySQL - 字段内分组

MySQL - 字段内分组

1、MySQL 5.7及之前版本 SELECT A.要显示的字段名称,FIRST_VALUE : A.分组字段名称,last :IF(FIRST_VALUE A.分组字段名称, last 1, 1 ) AS rn,FROM 表1 A,(SELECT last : 0, FIRST_VALUE : NULL ) BORDER BY A.排序字段例：SELECT A.DLR_CODE,A.VAILD_CARD_NO,A.L…
阅读更多...
瞬态分析中的时域分析与频域分析：原理、对比与应用指南

瞬态分析中的时域分析与频域分析：原理、对比与应用指南

目录 一、核心概念区分 二、时域分析：时间维度直接求解 1. 基本原理 2. 关键特点 3. 典型算法 4. 应用案例 三、频域分析：频率维度的等效映射 1. 基本原理 2. 关键特点 3. 典型方法 4. 应用案例 四、对比与选择依据 1. 方法论对比 2. 工程…
阅读更多...
【DeepSeek】DeepSeek小模型蒸馏与本地部署深度解析DeepSeek小模型蒸馏与本地部署深度解析

【DeepSeek】DeepSeek小模型蒸馏与本地部署深度解析DeepSeek小模型蒸馏与本地部署深度解析

一、引言与背景 在人工智能领域，大型语言模型（LLM）如DeepSeek以其卓越的自然语言理解和生成能力，推动了众多应用场景的发展。然而，大型模型的高昂计算和存储成本，以及潜在的数据隐私风险，限制了…
阅读更多...
安卓/ios脚本开发按键精灵经验小分享

安卓/ios脚本开发按键精灵经验小分享

1. 程序的切换 我们经常碰到这样的需求：打开最近的应用列表，选取我们想要的程序。但是每个手机为了自己的风格，样式都有区别，甚至连列表的滑动方向都不一样，我们很难通过模拟操作来识别点击，那么我们做的只…
阅读更多...
camera光心检测算法

camera光心检测算法

1.概要 光心检测算法，基于opencv c实现，便于模组厂快速集成到软件工具中，适用于camera模组厂算法评估组装制程镜头与sensor的偏心程度，便于工程师了解制程的问题找出改善方向。 2.技术介绍 下图为camera模组厂抓取的bayer-raw经过…
阅读更多...
OpenCV：特征检测总结

OpenCV：特征检测总结

目录 一、什么是特征检测？ 二、OpenCV 中的常见特征检测方法 1. Harris 角点检测 2. Shi-Tomasi 角点检测 3. Canny 边缘检测 4. SIFT（尺度不变特征变换） 5. ORB 三、特征检测的应用场景 1. 图像匹配 2. 运动检测 3. 自动驾驶 4.…
阅读更多...
Docker安装pypiserver私服

Docker安装pypiserver私服

Docker安装pypiserver私服 1 简介 Python开源包管理工具有pypiserver、devpi和Nexus等，pypiserver安装部署比较简单，性能也不错。 搭建pypiserver私服，可以自己构建镜像，也可以使用官网的docker镜像。 # Github地址 https://g…
阅读更多...
什么是自动化测试？自动化测试的作用

什么是自动化测试？自动化测试的作用

🍅 点击文末小卡片，免费获取软件测试全套资料，资料在手，涨薪更快 一、自动化测试 所谓的自动化测试简单来说就是有计算机代替 人来单击被测软件的界面，执行一系列操作并进行验证。 自动化有点：通过执行…
阅读更多...
AI驱动的智能流程自动化是什么

AI驱动的智能流程自动化是什么

在当今快速发展的数字化时代，企业正在寻找更高效、更智能的方式来管理日常运营和复杂任务。其中，“AI驱动的智能流程自动化”（Intelligent Process Automation, IPA）成为了一个热门趋势。通过结合人工智能（AI&#xff…
阅读更多...
集合类不安全问题

集合类不安全问题

ArrayList不是线程安全类，在多线程同时写的情况下，会抛出java.util.ConcurrentModificationException异常 解决办法： 1.使用Vector（ArrayList所有方法加synchronized，太重） 2.使用Collections.synchronized…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023