deepseek-r1-centos-本地服务器配置方法

参考：
纯小白 Centos 部署DeepSeek指南_centos部署deepseek-CSDN博客
https://blog.csdn.net/xingxin550/article/details/145574080

手把手教大家如何在Centos7系统中安装Deepseek，一文搞定_centos部署deepseek-CSDN博客
https://blog.csdn.net/soso678/article/details/145670623

DeepSeek R1、V3的1.5b/7b/32b/70b和671b模型，本地部署硬件要求对应表丨AI 指南
https://aizhinan.cc/217

使用 Docker 安装 Open WebUI 并集成 Ollama 的 DeepSeek 模型_基于 docker 部署 open-webui 并配置集成 ollama 服务-CSDN博客
https://blog.csdn.net/qq_36693723/article/details/145597221

解决关于Docker运行容器使用GPU资源时的异常：could not select device driver ““ with capabilities: [[gpu]]_error response from daemon: could not select devic-CSDN博客
https://blog.csdn.net/qq_38628046/article/details/136312844

Installing the NVIDIA Container Toolkit — NVIDIA Container Toolkit
https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

centos7.9中安装dnf；bash: dnf: command not found… - 小鲨鱼2018 - 博客园
https://www.cnblogs.com/liujiaxin2018/p/14942564.html

🚧 服务器连接问题 | Open WebUI
https://openwebui-doc-zh.pages.dev/troubleshooting/connection-error/

Ubuntu 安装openwebui，部署私人本地AI（deepseek） - SaiitaのBlog
https://www.saiita.com.cn/note/computer/ai/open-webui/ubuntu-%E5%AE%89%E8%A3%85openwebui%E9%83%A8%E7%BD%B2%E7%A7%81%E4%BA%BA%E6%9C%AC%E5%9C%B0aideepseek.html

GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, …)
https://github.com/open-webui/open-webui

Open WebUI 版本 v0.5.10（最新版）普通用户无法查看模型解决_openwebui用户看不到模型-CSDN博客
https://blog.csdn.net/jxyk2007/article/details/145608193

目录

  • 问题描述
  • 解决方案
    • 安装ollama
    • 安装模型
      • 模型版本选择
      • 安装模型
    • 网页访问
    • 网页访问的设置
      • 报错解决

问题描述

公司要求配置一个本地的deepseek。

解决方案

安装ollama

首先检查系统架构，比如我是x86_64就下载后缀是amd64的

uname -m

然后去github上（https://github.com/ollama/ollama）下载安装包，解压到指定目录。

tar -zxvf ollama-linux-amd64.tgz

配置ollama

vi /etc/systemd/system/ollama.service	内容如下：[Unit]
Description=Ollama Service
After=network-online.target[Service]
ExecStart=/安装目录/ollama/bin/ollama serve
User=root
Group=root
Restart=always
RestartSec=3
Environment="PATH=$PATH"
#指定模型存储位置，可以直接在外网下载好模型，打包解压到内网的ollama的模型目录下，就能实现离线安装了
Environment="OLLAMA_MODELS=/opt/app/middles/ollama/models"
#解决ollama无法访问的问题
Environment="OLLAMA_HOST=0.0.0.0:11434"[Install]
WantedBy=default.target

配置环境变量：

vi ~/.bashrcexport PATH="/安装目录/ollama/bin:$PATH"

然后source一下。

检查是否安装成功：

ollama -v

启动：

sudo systemctl daemon-reload
sudo systemctl enable ollama
sudo systemctl start ollama

测试访问：
浏览器输入ip:11434（配置时指定的端口），如下图显示就是成功了。
在这里插入图片描述

安装模型

模型版本选择

首先，deepseek模型中的1.5b，7b等代表模型的参数量，单位是B（Billion，十亿），所以参数量越大：

  1. 模型的理解和生成能力越强，但也需要更多的计算资源
  2. 对内存和显存的要求越高
  3. 推理速度越慢，尤其是资源不足的时候。

检查系统资源，以确保服务器资源足够支持模型运行：

  • CPU/GPU：使用nvidia-smi（如有GPU）或htop检查资源使用情况
  • 内存：使用free -h查看内存使用情况
  • 存储：使用df -h检查存储空间

然后参考下表的要求（更多细节参见顶端参考文章3）：
在这里插入图片描述

安装模型

我选择了7b，所以这样安装：

ollama pull deepseek-r1:7b

下图这样就是装好了。
在这里插入图片描述
测试：

ollama run deepseek-r1:7b

在这里插入图片描述
退出对话：

ctrl+d

网页访问

拉取docker容器open-webui。

这个是cpu版本：

docker run -d --network=host -v /home/software/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

效果：
在这里插入图片描述
第一次使用时先注册管理员账号，然后就可以使用了。
在这里插入图片描述
gpu版本：

docker run -d --network=host --gpus all --add-host=host.docker.internal:host-gateway -v /home/software/open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui-gpu --restart always  ghcr.io/open-webui/open-webui:cuda

网页访问的设置

  1. 加入联网搜索。duckduckgo是免费的
    在这里插入图片描述
  2. 展示所有模型
    在这里插入图片描述
  3. 这个OpenAI API要关掉，不然登录后会白屏很久
    在这里插入图片描述
  4. 设置默认用户角色，允许新用户注册
    在这里插入图片描述
  5. 设置模型为Public。一定要设置这里，不然用户注册进来看不到。
    在这里插入图片描述
    在这里插入图片描述

报错解决

  1. could not select device driver ““ with capabilities: [[gpu]]
    这个是需要安装nvidia-container-toolkit。参考nvidia官网的解法如下所示：
    1）Configure the production repository:

    curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo | \
sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

    Optionally, configure the repository to use experimental packages:

    sudo dnf-config-manager --enable nvidia-container-toolkit-experimental

    2）Install the NVIDIA Container Toolkit packages:

    sudo dnf install -y nvidia-container-toolkit

    安装完后需要重启docker。

  2. dnf: command not found

    yum install epel-release
yum install dnf

  3. docker容器开启了但是浏览器拒绝访问
    参见官网给的指示，我用的是红线部分。

    docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

    在这里插入图片描述
    在这里插入图片描述

    HuggingFaceSSL
docker run -d -p 3000:8080 -e HF_ENDPOINT=https://hf-mirror.com/ --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:mainMac
podman run -d --network slirp4netns:allow_host_loopback=true -p 3000:8080 -e OLLAMA_BASE_URL=http://host.containers.internal:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

  4. 登录之后白屏很久
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/25113.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

机器学习：强化学习的epsilon贪心算法

机器学习：强化学习的epsilon贪心算法

强化学习（Reinforcement Learning, RL）是一种机器学习方法，旨在通过与环境交互，使智能体（Agent）学习如何采取最优行动，以最大化某种累积奖励。它与监督学习和无监督学习不同，强调试错…
阅读更多...
比创达电子科技-EMC干货之防静电技术

比创达电子科技-EMC干货之防静电技术

EMC干货之防静电技术 什么是静电放电 两个具有不同静电电位的物体，由于直接接触或静电场感应引起两物体间的静电电荷的转移,静电电场的能量达到一定程度后，击穿其间介质而进行放电的现象就是静电放电,简称为ESD(Electro Static Discharge)。 静电产生的原…
阅读更多...
JavaWeb-ServletContext应用域接口

JavaWeb-ServletContext应用域接口

文章目录 ServletContext接口简介获取一个ServletContext对象ServletContext接口中的相关方法获取应用域配置参数关于应用域参数的配置要求getContextPath获取项目路径getRealPath获取真实路径log系列方法添加相关日志增删查应用域属性 ServletContext接口简介 ServletContext…
阅读更多...
C语言（15）--------------＞一维数组

C语言（15）--------------＞一维数组

这篇文章介绍的是数组的定义、创建、初始化、使用，在数组中输入内容并输出数组中的内容，并探讨了数组在内存中的存储。里面有些内容建议大家参考下面的一些文章，有助于加深大家对于C语言的理解： C语言（2）-…
阅读更多...
AI学习第六天-python的基础使用-趣味图形

AI学习第六天-python的基础使用-趣味图形

在 Python 编程学习过程中，turtle库是一个非常有趣且实用的工具，它可以帮助我们轻松绘制各种图形。结合for循环、random模块以及自定义方法等知识点，能够创作出丰富多彩的图案。下面就来分享一下相关的学习笔记。 一、基础知识点回顾 &…
阅读更多...
线程安全问题

线程安全问题

线程安全问题是指在多线程环境下，当多个线程同时访问共享资源时，可能出现的错误或不可预测的行为。以下是对其的理解： 1. 根本原因 线程安全问题的根本原因是多个线程对共享资源的并发访问。如果多个线程对共享资源进行读写操作&#xff0c…
阅读更多...
ubuntu终端指令集 shell编程基础（一）

ubuntu终端指令集 shell编程基础（一）

磁盘指令 连接与查看：磁盘与 Ubuntu 有两种连接方式；使用ls /dev/sd*查看是否连接成功，通过df系列指令查看磁盘使用信息。若 U 盘已挂载，相关操作可能失败，需用umount取消挂载。磁盘操作：使用sudo fdisk 磁…
阅读更多...
第十四届蓝桥杯Scratch11月stema选拔赛真题——小猫照镜子

第十四届蓝桥杯Scratch11月stema选拔赛真题——小猫照镜子

编程实现： 小猫照镜子。(背景非源素材) 具体要求： 1). 运行程序，角色、背景如图所示； 完整题目可点击下方链接查看，支持在线编程~ 小猫照镜子_scratch_少儿编程题库学习中心-嗨信奥https://www.hixinao.com/tiku/s…
阅读更多...
Sublime Text4安装、汉化

Sublime Text4安装、汉化

-------------2025-02-22可用---------------------- 官方网址下载：https://www.sublimetext.com 打开https://hexed.it 点击打开文件找到软件安装目录下的 ctrlf 查找 8079 0500 0f94 c2右边启用替换替换为:c641 0501 b200 90点击替换按钮 替换完成后 另存为本地…
阅读更多...
C++20的指定初始化器（Designated Initializers）

C++20的指定初始化器（Designated Initializers）

文章目录 指定初始化器的使用条件语法嵌套结构体的初始化数组的指定初始化注意事项优势 C20引入了**指定初始化器（Designated Initializers）**这一特性，允许在初始化结构体、联合体或类的对象时，明确指定成员变量的初始化值&#…
阅读更多...
Redis安装及其AnotherRedisDesktopManagera安装使用

Redis安装及其AnotherRedisDesktopManagera安装使用

一、Redis安装 1. 下载Redis安装包 通过网盘分享的文件：Redis 链接: https://pan.baidu.com/s/1elAT8mk3EIoYQQ3WoVVoNg?pwd7yrz 提取码: 7yrz 2. 解压Redis安装包 下载完成后，将Redis安装包解压到一个指定的目录，例如：C:\Re…
阅读更多...
51c嵌入式~电路~合集13

51c嵌入式~电路~合集13

我自己的原文哦~ https://blog.51cto.com/whaosoft/12317946 一、造成PCB焊接缺陷的原因 电路板孔可焊性不好，将会产生虚焊缺陷，影响电路中元件的参数，导致多层板元器件和内层线导通不稳定，引起整个电路功能失效。 所谓可焊性…
阅读更多...
Lindorm作为AI搜索基础设施，助力Kimi智能助手升级搜索体验

Lindorm作为AI搜索基础设施，助力Kimi智能助手升级搜索体验

Kimi智能助手开启“长文本”时代，K系列强化学习模型持续进化中 2023年10月，月之暗面（Moonshot AI）旗下的Kimi智能助手，带着支持输入20万汉字的能力正式发布，提升了全球市场上产品化大模型服务支持的上下文输…
阅读更多...
图数据库 | 24、如何进行正确性验证？

图数据库 | 24、如何进行正确性验证？

图数据库计算和查询结果的正确性，这个重要性当然是不言而喻的！ 老夫之前也写文章讲过，今天再手书一篇，旨在向大家系统地介绍一下图数据库查询与计算到底如何进行正确性验证！！！ 图数据库中的操…
阅读更多...
【二分查找 图论】P8794 [蓝桥杯 2022 国 A] 环境治理|普及

【二分查找 图论】P8794 [蓝桥杯 2022 国 A] 环境治理|普及

本文涉及的基础知识点 本博文代码打包下载 C二分查找 C图论 [蓝桥杯 2022 国 A] 环境治理 题目描述 LQ 国拥有 n n n 个城市，从 0 0 0 到 n − 1 n - 1 n−1 编号，这 n n n 个城市两两之间都有且仅有一条双向道路连接，这意味着任意两…
阅读更多...
vue写一个登录页面

vue写一个登录页面

目录 一、安装ui库二、路由跳转三、页面 一、安装ui库 element plus库 Element Plus 是 Element UI 的升级版本，专为 Vue 3.x 设计。它继承了 Element UI 的优秀特性，同时针对 Vue 3 的新特性（如 Composition API、Teleport 等）进…
阅读更多...
和鲸科技携手四川气象，以 AI 的力量赋能四川气象一体化平台建设

和鲸科技携手四川气象，以 AI 的力量赋能四川气象一体化平台建设

气象领域与农业、能源、交通、环境科学等国计民生关键领域紧密相连，发挥着不可替代的重要作用。人工智能技术的迅猛发展，为气象领域突破困境带来了新的契机。AI 技术能够深度挖掘气象大数据中蕴含的复杂信息，助力人类更精准地把握自然规律&am…
阅读更多...
Ubuntu下QT安装和调试的常见问题(一)__could_not_dertermine_which_make

Ubuntu下QT安装和调试的常见问题(一)__could_not_dertermine_which_make

前言 Ubuntu下QT的安装会有一些奇怪的问题出现，并没有像Windows下Visual Studio的安装那么直接就可以使用那么方便，本文就“make”挂接的问题，给出一些小的感受。 1、问题的提出 很多问题的解答，AI无论是上文心一言，还…
阅读更多...
C# httpclient 和 Flurl.Http 的测试

C# httpclient 和 Flurl.Http 的测试

关于C#调用接口或Post,Flurl封装了httpclient, CSDN有哥们提供了一个公网的测试网站，可以测试Post调用，我写了2个函数，测试httpclient和Flurl使用Post: async 和 await 是成对使用的，为了接受web异步返回的数据，winfor…
阅读更多...
多通道数据采集和信号生成的模块化仪器如何重构飞机电子可靠性测试体系？

多通道数据采集和信号生成的模块化仪器如何重构飞机电子可靠性测试体系？

飞机的核心电子系统包括发电与配电系统，飞机内部所有设备和系统之间的内部数据通信系统，以及用于外部通信的射频设备。其他所有航空电子元件都依赖这些关键总线进行电力传输或数据通信。在本文中，我们将了解模块化仪器（无论是PCIe…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023