【DeepSeek】Ubuntu快速部署DeepSeek(Ollama方式)

文章目录

  • 人人都该学习的DeepSeek
  • DeepSeek不同版本功能差异
  • DeepSeek与硬件直接的关系
  • DeepSeek系统兼容性
  • 部署方式选择
  • 部署步骤(Ollama方式)
    • 1.选定适合的deepseek版本
    • 2.环境准备
    • 3.安装Ollama
    • 4.部署deepseek
    • 5.测试使用

在这里插入图片描述

人人都该学习的DeepSeek

DeepSeek 作为一款先进的人工智能工具,具备强大的推理能力和广泛的应用场景,能够帮助用户高效解决复杂问题。它支持文本生成、代码编写、数据分析、情感分析等多种任务,适用于教育、医疗、金融、创意等各行各业。它的开源特性使得个人和企业能够低成本地利用其功能,推动AI技术的普及。无论是提升工作效率、辅助学习,还是解决生活中的问题,DeepSeek 都能提供智能化支持。

DeepSeek不同版本功能差异

版本特点适用场景
1.5B轻量级模型,参数量少,推理速度快,适合低资源环境。短文本生成、基础问答、移动端应用(如简单智能助手)。
7B平衡型模型,性能与资源需求适中,支持中等复杂度任务。文案撰写、表格处理、统计分析、简单代码生成。
8B性能略强于7B,优化逻辑推理和代码生成。代码生成、逻辑推理(如数学题解决)、中等复杂度文本生成。
14B高性能模型,擅长复杂任务(如数学推理、长文本生成)。数据分析、长文本生成(如研究报告)、多模态任务预处理。
32B专业级模型,支持高精度任务和大规模数据处理。语言建模、金融预测、复杂病例分析(医疗场景)。
70B顶级模型,多模态任务支持,科研级分析能力。高精度临床决策(医疗)、多模态数据分析、前沿科学研究。
671B超大规模基础模型,最高准确性和推理速度,支持国家级研究。气候建模、基因组分析、通用人工智能探索。

注:671B是我们常说的满血版deepseek。

​关键点

​1. 输入输出

  • ​短文本处理​(1.5B-7B):最大支持16k tokens,适合对话和短文生成。
  • ​长文本处理​(32B+):32k-10M tokens,可处理整本书籍或科研论文。
  • ​多模态支持:32B及以上版本实验性支持图文混合输入,671B版本实现视频流解析。

​2. 推理计算

  • ​数学能力:7B版本仅支持四则运算,32B版本可解微积分方程(准确率92%)。
  • ​代码生成:7B生成单文件脚本,14B支持全栈项目架构设计(含单元测试)。

​3. 部署

  • ​量化支持:1.5B支持8-bit量化(体积压缩至400MB),70B需保留FP16精度。
  • ​分布式训练:70B版本支持千卡并行训练(吞吐量1.2 exaFLOPs),671B版本兼容量子计算节点。

DeepSeek与硬件直接的关系

参数推荐显卡型号显存要求内存存储适用场景
1.5BNVIDIA RTX 30604-8GB8GB+3GB+ SSD低资源设备部署、简单对话
7BNVIDIA RTX 3070/40608GB+16GB+8GB+ NVMe SSD本地开发测试、中小型企业任务
8BNVIDIA RTX 30908GB+16GB+8GB+ NVMe SSD高精度轻量级任务
14BNVIDIA RTX 309016GB+32GB+15GB+ NVMe SSD企业级复杂任务、专业咨询
32BNVIDIA A100 40GB24GB+64GB+30GB+ NVMe SSD高精度专业领域任务
70BNVIDIA A100 80GB 多卡≥40GB(多卡)128GB+70GB+ NVMe SSD企业级复杂任务处理、科研
671BNVIDIA H100/HGX 集群640GB(8卡并行)512GB+400GB+ NVMe SSD超大规模科研计算、国家级项目

注:32B是一个分水岭,从该版本开始对硬件要求开始急速升高。

DeepSeek系统兼容性

操作系统兼容性与性能问题与风险工具与部署建议
Windows支持轻量级至中型模型(如7B-32B量化版)底层架构限制可能导致闪退或延迟,需关闭后台程序、更新显卡驱动推荐使用Ollama进行一键部署,结合任务管理器监控资源占用,性能较Linux低10%-15%
Linux适配全版本模型(含70B+超算级部署)需注意安全防护(88.9%未防护服务器存在漏洞风险)通过LMDeploy优化推理速度,SGLang实现多模型协同,建议Ubuntu系统,性能最优 且支持分布式计算
Mac仅支持1.5B-8B轻量模型,依赖M系列芯片NPU加速(如M2 Ultra)模型选择受限,复杂任务响应延迟显著(生成速度约2-3 tokens/秒)必须通过Ollama进行4-bit量化压缩,优先使用Metal框架加速

注:部署时Linux系统最优。

部署方式选择

  1. 优先选 Ollama 的场景
    • 快速原型开发、个人项目测试
    • 硬件资源有限(如无高端 GPU)
    • 无需复杂参数调优
  2. 优先选直接部署的场景
    • 企业级服务需高并发、低延迟响应
    • 需定制模型或优化底层计算(如 FP8 加速、MOE 负载均衡)
    • 对数据隐私和合规性要求极高

部署步骤(Ollama方式)

1.选定适合的deepseek版本

按照自己的需求选取合适的deepseek版本,可参照上文的表格内容。
选择的依据主要是:

  • 使用场景
  • 功能需要
  • 硬件限制
  • 成本要求

2.环境准备

准备好Ubuntu系统,deepseek推荐使用Ubuntu20.04及以上版本。当前示例使用的是Ubuntu18.04版本。

当前配置情况:

  • CPU:16核心
  • 内存:64Gb
  • 硬盘:128Gb
  • GPU:RTX 4090

显卡驱动准备
准备好裸机后首先更新系统:

sudo add-apt-repository ppa:graphics-drivers/ppa #18.04版本较旧,需要加上新的驱动
sudo apt update && sudo apt upgrade -y  # 更新系统包
sudo apt install nvidia-driver-535  # 安装NVIDIA驱动

安装好显卡驱动后,确认显卡运行情况:

nvidia-smi

如图所示是驱动完成。
在这里插入图片描述

CUDA环境准备

sudo apt update
sudo apt install nvidia-cuda-toolkit

3.安装Ollama

安装Ollama:

curl -fsSL https://ollama.ai/install.sh | sh  # 执行官方安装脚本

启用Ollama:

sudo systemctl start ollama  # 启动服务
ollama --version  # 输出版本号即成功

可能的问题:

1.如果下载Ollama网络慢导致异常中断,可能如下所示:

curl: (16) Error in the HTTP2 framing layer
gzip: stdin: unexpected end of file
tar: Child returned status 1
tar: Error is not recoverable: exiting now

解决方案:

curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
sed -i 's|https://ollama.com/download/ollama-linux|https://gh.llkk.cc/https://github.com/ollama/ollama/releases/download/v0.5.7/ollama-linux|g' ollama_install.sh
chmod +x ollama_install.sh
sudo ./ollama_install.sh

4.部署deepseek

ollama pull deepseek-r1:14b  # 下载14B参数版本

整个过程需要一些时间:
在这里插入图片描述
在这里插入图片描述

5.测试使用

测试deepseek运行情况:

ollama run deepseek-r1:14b

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/29648.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

安装并运行hadoop程序

1.在虚拟机上安装javaJDK (1)把javaJDK文件上传到服务器 在opt文件夹下新建一个software文件夹,将jdk拖入software (2)解压文件 在opt文件夹下新建一个module文件夹,确认上传成功之后,在softwa…

学习threejs,Animation、Core、CustomBlendingEquation、Renderer常量汇总

👨‍⚕️ 主页: gis分享者 👨‍⚕️ 感谢各位大佬 点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏:threejs gis工程师 文章目录 一、🍀前言1.1 ☘️Animation常量汇总1.1.1 循…

Ubuntu的软件源

百度搜索 ubuntu清华镜像源 根据下面的网页,选择对应Ubuntu操作系统的源,一定要对应!!! https://mirror.tuna.tsinghua.edu.cn/help/ubuntu/上图的系统是16.04 xenial,这时就一定要使用16.04 xenial的源 …

游戏引擎学习第135天

仓库:https://gitee.com/mrxiao_com/2d_game_3 回顾 game_asset.cpp 的创建 在开发过程中,不使用任何现成的游戏引擎或第三方库,而是直接基于 Windows 进行开发,因为 Windows 目前仍然是游戏的标准平台,因此首先在这个环境中进行…

我用Ai学LVGL之入门(DeepSeek版)

文章目录 什么是LVGL?**1. 基本定义****2. 核心特性****3. 典型应用场景****4. 核心优势****5. 与其他嵌入式GUI的对比****6. 如何快速体验?****7. 学习资源** 如何开始学习lvgl?**一、了解LVGL的核心特性与硬件要求****二、搭建开发环境与移植LVGL****…

JmeterHttp请求头管理出现Unsupported Media Type问题解决

JmeterHttp请求头管理出现Unsupported Media Type问题解决 大多数的app与pc端压测的时候都会出现这种情况 当我们在jemter测试当中当中遇见Unsupported Media Type,有一种可能就是我们请求的网页的content-Type的类型与我们测试的时候的类型不一致 解决方法 可以添…

香港地区上线独立多用户电商平台系统需要注意哪些问题

在香港地区上线独立多用户电商平台系统时,需结合本地化需求、技术架构、法律合规及用户体验等多方面因素,以下是需要注意的关键问题及建议: 一、技术架构与服务器部署 服务器配置与带宽选择 根据业务规模选择合适的香港服务器配置&#xff0…

【A2DP】MPEG - 2/4 AAC 编解码器互操作性要求详解

目录 一、概述 二、编解码器特定信息元素(Codec Specific Information Elements ) 2.1 信息元素结构 2.2 对象类型(Object Type) 2.3 MPEG - D DRC 2.4 采样频率(Sampling Frequency) 2.5 通道(Channels) 2.6 比特率(Bit rate) 2.7 可变比特率(VBR) 三、…

使用express创建服务器保存数据到mysql

创建数据库和表结构 CREATE DATABASE collect;USE collect;CREATE TABLE info (id int(11) NOT NULL AUTO_INCREMENT,create_date bigint(20) DEFAULT NULL COMMENT 时间,type varchar(20) DEFAULT NULL COMMENT 数据分类,text_value text COMMENT 内容,PRIMARY KEY (id) ) EN…

使用Galaxy创建生物信息学工作流的步骤详解

李升伟 整理 Galaxy 是一个基于 Web 的生物信息学平台,提供了直观的用户界面和丰富的工具,帮助用户创建和管理生物信息学工作流。以下是使用 Galaxy 创建生物信息学工作流的主要步骤: 1. 访问 Galaxy 平台 打开 Galaxy 的官方网站&#xff…

react中的fiber和初次渲染

源码中定义了不同类型节点的枚举值 组件类型 文本节点HTML标签节点函数组件类组件等等 src/react/packages/react-reconciler/src/ReactWorkTags.js export const FunctionComponent 0; export const ClassComponent 1; export const IndeterminateComponent 2; // Befo…

关于tomcat使用中浏览器打开index.jsp后中文显示不正常是乱码,但英文正常的问题

如果是jsp文件就在首行加 “<% page language"java" contentType"text/html; charsetUTF-8" pageEncoding"UTF-8" %>” 如果是html文件 在head标签加入&#xff1a; <meta charset"UTF-8"> 以jsp为例子&#xff0c;我们…

谐振开关型零电流开关变换器原理及仿真

以Buck DC/DC变换器为例&#xff0c;介绍零电流关断ZCS PWM变换器和零电流关断ZCS PFM变换器工作原理&#xff0c;及simulink仿真结果。 零电流关断脉冲宽度调制ZCS PWM变换器工作原理 下图是Buck DC/DC ZCS PWM变换器的主电路图&#xff0c;它由输入电源Vd、主开关管T1&…

RESTful API 设计指南

RESTful API 介绍 大佬的总结&#xff1a;RESTful API 设计指南 - 阮一峰的网络日志 json-server github地址 这里介绍一个快速搭建 REST API 服务的工具包 接口测试工具 介绍几个接口测试工具 apipost apifox postman https://www.apipost.cn/ (中文) https://www.apifox…

Dify部署踩坑指南(Windows+Mac)

组件说明 Dify踩坑及解决方案 ⚠️ 除了修改镜像版本&#xff0c;nginx端口不要直接修改docker-compose.yaml &#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01;&#xff01; 1、更换镜像版本 这个文件是由.env自动生成的&#xff0c;在.env配置 …

C++:string容器(上篇)

1. 标准库中的string类 1.1 string类 官方链接&#xff1a;string - C Reference (cplusplus.com) 在使用string类时&#xff0c;必须包含#include头文件以及using namespace std; 1.2 auto和范围for auto关键字&#xff1a; 在早期C/C中auto的含义是&#xff1a;使用auto修…

鸿蒙生态日日新,夸克、顺丰速运、驾校一点通等多款应用功能更新

3月5日鸿蒙生态日日新PLOG&#xff1a;吉事办、健康甘肃等政务服务App上架原生鸿蒙应用市场&#xff1b;夸克、顺丰速运、驾校一点通等多款应用功能更新。

QT 作业 C++ day5

作业 代码 MyQThread.h class MyThread : public QThread {Q_OBJECT public:MyThread(QObject *parent nullptr); protected:void run() override; signals://向ui界面发送的 "复制进度" 的信号void copy_process_signal(int index); public slots:// "复…

BOOK推荐-学海无涯

一、战略思维与商业洞察 《好战略,坏战略》(理查德鲁梅尔特) 重点:破除模糊口号,聚焦“诊断问题-制定方针-连贯行动”的战略核心逻辑。 《竞争战略》(迈克尔波特) 重点:五力模型、三大通用战略,掌握行业分析的底层框架。 《蓝海战略》(W.钱金 / 勒妮莫博涅) 重点:跳…

软件工程笔记下

从程序到软件☆ 章节 知识点 概论☆ 软件的定义&#xff0c;特点&#xff0c;生存周期。软件工程的概论。软件危机。 1.☆软件&#xff1a;软件程序数据文档 &#xff08;1&#xff09;软件&#xff1a;是指在计算机系统的支持下&#xff0c;能够完成特定功能与性能的包括…