服务器使用宝塔面板Docker应用快速部署 DeepSeek-R1模型,实现Open WebUI访问使用

Deepseek这段时间非常火,最新推理模型Deepseek R1,都想装上试一试,特别是部署到服务器教程网上一堆教程好像没几个部署成功靠谱的,先说服务器上下载Ollama就难倒一堆人,每次都超时。今天终于在宝塔看到一篇 应用安装文章,借该方法更简单省事,容器里一次把ollama和open-webui安装了,再科普下Ollama‌是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。Open WebUI是一款高度可扩展、功能强大且用户友好的自托管Web用户界面,专为完全离线操作设计。DeepSeek-R1系列模型是基于Transformer架构的大型语言模型,支持中英文双语处理。该系列模型通过不断优化算法和增加训练数据,逐步提升了模型的性能和适用性。

如何30秒安装一个DeepSeek-R1 AI模型?今天播播资源全部实操体验成功后分享给大家一起学习。服务器上Ollama‌+open-webui+DeepSeek-R1系列模型全部搞定

配置不满足运行模型会导致服务器卡死或无法访问,请正确选择服务器配置后部署!

各模型建议的服务器配置:
2c4g可以运行1.5b,想要更流畅的话建议到8g内存,此模型可以不需要GPU
8c16g可以运行7b/8b,此模型建议使用GPU运行,建议最少使用8G运存的GPU

腾讯云性能基准测试如下:
【1.5B模型:内存占用2G左右】
2c4g(S5):生成过程中,CPU占用100%
2c8g(S5):生成过程中,CPU占用100%
4c16g(S2):生成过程中,CPU占用100%
16c64g(SA2):生成过程中,CPU占用30~40%

【7B模型:内存占用7.6G左右】
4c8g(SA2):生成过程中,CPU占用100%
16c64g(SA2):生成过程中,CPU占用50%

此使用帮助适用宝塔面板9.4.0以上的版本(2025年2月6日后发布的滚动修复包,请修复面板后安装DeepSeek-R1)

20250210152835735

前往宝塔面板【Docker】-【应用商店】,点击DeepSeek-R1应用,点击安装即可,如果没显示DeepSeek应用,请点击右上角【更新应用列表】获取

20250210144128373

随后点击【已安装】应用的文件夹按钮,前往对应的应用目录(这里注意使用GPU时才需要这样操作),如果使用CPU默认不需要改可省略

20250210144200658

20250210144531358

使用GPU时 编辑docker-compose.yml文件,将第5-11行的注释去掉,保存

20250210144402824

20250210144501895

再回到【已安装】应用界面,将此应用重启即可启用GPU支持

20250210144625803

安装完成容器里面就有两个容器信息,该应用应该包含了Open WebUI一起

20250210144745136

绑定域名访问,同时加个SSL,这样就可以通过域名打开访问Open WebUI前端了,包括反代什么的都自动帮你设置好了

20250210144916803

也可以手动处理反代信息,注意把安全端口放行一下

20250210145113709

完成通过域名访问,网址打开时会提示输入管理账号密码,需要设置下,设置好就能正常进入界面

20250210145254320

安装模型。在左下角打开设置找到模型,打开下载那个小图标

20250210145553926

选择下载对应模型,具体需要下载什么模型可打开https://ollama.com/library/deepseek-r1:1.5b 查看

20250210145650280

比如下载 ollama run deepseek-r1:7b 大小4.7G

20250210145758644

按理这步应该到此为止了,下载模型时老提示超时,这边模型也没下载成功,后面试了几次了几次下载成功,下了个最小的ollama run deepseek-r1:1.5b  大小1.5G ,模型下载非常慢

20250210152629912

20250210150142705

安装模型。在左下角打开设置找到模型,打开下载那个小图标

20250210145553926

选择下载对应模型,具体需要下载什么模型可打开https://ollama.com/library/deepseek-r1:1.5b 查看

20250210145650280

比如下载 ollama run deepseek-r1:7b 大小4.7G

20250210145758644

按理这步应该到此为止了,下载模型时老提示超时,这边模型也没下载成功,后面试了几次了下载成功,下了个最小的ollama run deepseek-r1:1.5b  大小1.5G ,模型下载非常慢用时也差不多1个小时

20250210152629912

20250210150142705

 

写到最后体验后感觉还是失望了,一个回答差不多用了 3分钟,24核服务器64G 100M共享带宽采用CPU模式一个问题回答用了3分钟,这感觉是从高空俯冲到地面,真正测试后才知道服务器得多高才能玩这模型,不过有money的朋友可以考虑,其他人还是老老实实接入API吧。

顺便推荐个API接口平台给大家使用,目前支持deepseek-r1 、deepseek-v3、deepseek-search、deepseek-reasoner等模型,同时还支持chatgpt最新模型o1、o3-mini、o3-mini-2025-01-31等模型

数字先锋聚合大模型API接口网址https://api.cxhao.com

优势所有地址数据互通,一个令牌KEY通用国内外各大模型使用,几乎支持所有国内外大模型

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/16770.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

win10 llamafactory模型微调相关②

微调 使用微调神器LLaMA-Factory轻松改变大语言模型的自我认知_llamafactory 自我认知-CSDN博客 【大模型微调】使用Llama Factory实现中文llama3微调_哔哩哔哩_bilibili 样本数据集 (数据集管理脚本处需更改,见报错解决参考1) 自我认知微…

华硕笔记本怎么一键恢复出厂系统_华硕笔记本一键恢复出厂系统教程

华硕笔记本怎么一键恢复出厂系统? 华硕一键恢复出厂系统是一个安全、高效、方便的恢复方式,让您轻松还原出厂设置,以获得更好的系统性能。如果您的华硕电脑遇到问题,可以使用华硕一键恢复出厂系统功能。下面小编就教大家华硕笔记本…

TongETLV3.0安装指引(by lqw)

文章目录 安装准备系统环境要求和端口jdk版本要求安装包磁盘要求安装脚本对系统配置的影响 系统配置vm.max_map_count 至少为 262144,且设置 vm.overcommit_memory 参数值为 1使用 TongETL 的 Linux 用户需要设置最大文件打开数为 65536用户需要有sodo权限。安装net…

AI前端开发:赋能开发者,提升解决实际问题的能力

近年来,人工智能技术飞速发展,深刻地改变着各行各业。在软件开发领域,AI写代码工具的出现更是引发了一场革命,尤其是前端开发领域,AI的应用正在显著提升开发者的解决实际问题的能力。本文将探讨AI前端开发如何提升效率…

【STM32】H743的以太网MAC控制器的一个特殊功能

调试743的MAC,翻阅手册的时候,发现了一个有意思的功能 混杂模式 H743的MAC控制器,可以设置为混杂模式,这就意味着它可以做一些网络监控的应用,譬如连接具备端口镜像功能的交换机,然后直接代替PC实现网络数据…

【Linux】Ubuntu Linux 系统 ——PHP开发环境

ℹ️大家好,我是练小杰,元宵节到了,在此祝大家元宵节快乐😆 新的一年里,愿你步步高升,事事如意,心想事成!! 本文是关于Linux 操作系统中部署PHP开发环境这部分基础内容,后…

SQL注入之布尔和时间盲注,sqli-labs

实验环境: sqli-labs,小皮面板搭建,edge浏览器 apache:2.4.39,MySQL:5.7 PHP:5.39 Python(pycharm2023):3 less-8 布尔盲注: 1.我这里是采用最简单的直接采…

C/C++后端开发面经

字节跳动 客户端开发 实习 一面(50min) 自我介绍是否愿意转语言,是否只愿意搞后端选一个项目来详细谈谈HTTP和HTTPS有什么区别?谈一下HTTPS加密的具体过程: 非对称加密 对称加密 证书认证的方式 非对称加密是为了保证对称密钥的安全性。 对称…

如何用.NET Core Identity实现定制化的用户身份验证系统

目录 初识标识框架(Identity) 重置密码操作 JWT基本使用 Swagger添加报文头 初识标识框架(Identity) .net core Identity是一个完整的身份验证和授权框架,它帮助开发人员处理用户的登录、注册、角色管理、权限控制以及其他与用户身份相关的操作,标…

WebSocket与Socket.io的区别

文章目录 引言一、WebSocket:原生的实时通信协议(一)WebSocket 是什么(二)WebSocket 的工作原理(三)WebSocket 的使用方法(四)WebSocket 的优势(五&#xff0…

excel里的函数技巧(持续更新中)

行转列 在 Excel 中,行转列(将一行数据转换为一列,或者将一列数据转换为一行)是一项常见的操作。你可以使用 转置 功能轻松实现这一操作。 TRANSPOSE(数组)

DeepSeek模型R1服务器繁忙,怎么解决?

在当今科技飞速发展的时代,人工智能领域不断涌现出令人瞩目的创新成果,其中DeepSeek模型无疑成为了众多关注焦点。它凭借着先进的技术和卓越的性能,在行业内掀起了一股热潮,吸引了无数目光。然而,如同许多前沿技术在发…

w~自动驾驶~合集17

我自己的原文哦~ https://blog.51cto.com/whaosoft/13269720 #FastOcc 推理更快、部署友好Occ算法来啦! 在自动驾驶系统当中,感知任务是整个自驾系统中至关重要的组成部分。感知任务的主要目标是使自动驾驶车辆能够理解和感知周围的环境元素&#…

操作系统|ARM和X86的区别,存储,指令集

文章目录 主频寄存器寄存器在硬件中的体现是什么寄存器的基本特性硬件实现寄存器类型 内存和寄存器的区别内存(Memory)和磁盘(Disk)指令的执行ARM Cortex-M3与Thumb-2指令集Thumb-2 与流水线虚拟地址指令的执行 多核CPU芯片间的通…

好好说话:深度学习扫盲

大创项目是和目标检测算法YOLO相关的,浅浅了解了一些有关深度学习的知识。在这里根据本人的理解做一些梳理。 深度学习是什么? 之前经常听到AI,机器学习,深度学习这三个概念,但是对于三者的区别一直很模糊。 AI&…

关于 IoT DC3 中设备(Device)的理解

在物联网系统中,设备(Device)是一个非常宽泛的概念,它可以指代任何能够接入系统并进行数据交互的实体。包括但不限于手机、电脑、服务器、网关、硬件设备甚至是某些软件程序等所有能接入到该平台的媒介。 内容 定义 目的 示例 …

接入 SSL 认证配置:满足等保最佳实践

前言 随着信息安全形势的日益严峻,等保(信息安全等级保护)要求成为各行业信息系统必须遵守的标准。在数据库领域,OpenGauss作为一款高性能、安全、可靠的开源关系型数据库,也需要满足等保要求,确保数据的安…

【论文阅读】Revisiting the Assumption of Latent Separability for Backdoor Defenses

https://github.com/Unispac/Circumventing-Backdoor-Defenses 摘要和介绍 在各种后门毒化攻击中,来自目标类别的毒化样本和干净样本通常在潜在空间中形成两个分离的簇。 这种潜在的分离性非常普遍,甚至在防御研究中成为了一种默认假设,我…

2024-2025年主流的开源向量数据库推荐

以下是2024-2025年主流的开源向量数据库推荐,涵盖其核心功能和应用场景: 1. Milvus 特点:专为大规模向量搜索设计,支持万亿级向量数据集的毫秒级搜索,适用于图像搜索、聊天机器人、化学结构搜索等场景。采用无状态架…

开源身份和访问管理方案之keycloak(一)快速入门

文章目录 什么是IAM什么是keycloakKeycloak 的功能 核心概念client管理 OpenID Connect 客户端 Client Scoperealm roleAssigning role mappings分配角色映射Using default roles使用默认角色Role scope mappings角色范围映射 UsersGroupssessionsEventsKeycloak Policy创建策略…