DeepSeek-R1 本地部署教程(超简版)

文章目录

  • 一、DeepSeek相关网站
  • 二、DeepSeek-R1硬件要求
  • 三、本地部署DeepSeek-R1
    • 1. 安装Ollama
      • 1.1 Windows
      • 1.2 Linux
      • 1.3 macOS
    • 2. 下载和运行DeepSeek模型
    • 3. 列出本地已下载的模型
  • 四、Ollama命令大全
  • 五、常见问题解决
  • 附:DeepSeek模型资源


一、DeepSeek相关网站

官方网站:DeepSeek

开源模型:https://huggingface.co/deepseek-ai

GitHub地址:https://github.com/deepseek-ai

接口文档:首次调用 API | DeepSeek API 文档

二、DeepSeek-R1硬件要求

以下是 DeepSeek-R1 系列模型在不同规模下的硬件需求(以 Q4_K_M 量化 为例)。这些需求是估算值,实际需求可能因实现方式和上下文长度而有所不同:

模型规模显存需求 (Q4_K_M)硬件需求说明
1.5B~1.5 GB轻量级,适合大多数消费级 GPU(如 GTX 1060 以上)
7B4.7 GB示例数据(Q4_K_M 量化),需要中端 GPU(如 RTX 3060)
8B~5.4 GB略高于 7B,适合 RTX 3060/3070
14B~9.4 GB需要高端消费级 GPU(如 RTX 3080/3090)
32B~21.5 GB需要专业级 GPU(如 A100 或 3090 24GB)
70B~47 GB通常需要多 GPU 或 云服务器(如 A100 40GB)
671B~450 GB仅适合分布式系统或超大规模集群

说明:

  1. 量化方式:假设使用 4-bit 量化(Q4_K_M),显存需求较低。如果使用 FP16/32,显存需求会大幅增加(如 7B FP16 需要约 14 GB)。

  2. 硬件建议
    1.5B-14B:适合消费级 GPU,如 RTX 3060/3080。
    32B-70B:需要专业级 GPU 或多 GPU 并行。
    671B:仅适合超大规模集群或分布式系统。

  3. 上下文长度:长上下文会进一步增加显存需求,建议根据实际场景调整硬件配置。

如果需要更高精度(如 FP16/32)的显存需求,可以按比例估算(FP16 约为 Q4_K_M 的 4 倍)

三、本地部署DeepSeek-R1

1. 安装Ollama

https://ollama.com/download

根据你的操作系统选择安装方式:

在这里插入图片描述

1.1 Windows

  1. 访问 https://ollama.com/download/windows 下载Windows安装程序。
  2. 双击安装,完成后在命令行输入 ollama 验证。

1.2 Linux

curl -fsSL https://ollama.ai/install.sh | sh

1.3 macOS

方式1:直接下载安装,访问 https://ollama.com/download/mac 下载macOS安装包,双击安装。

方式2:Homebrew 安装

brew install ollama

2. 下载和运行DeepSeek模型

访问 ollama 网站 deepseek-r1 各个版本:https://ollama.com/library/deepseek-r1

在这里插入图片描述

选择电脑符合条件的模型规模,复制命令。

  • 方式一:直接运行

以使用70b为例,打开命令行粘贴或输入:

ollama run deepseek-r1:70b

在这里插入图片描述

当我们没有该模型时会自动下载并运行,如果已经下载完成,运行该命令则直接启动。

运行后出现以下提示表示成功:

>>> Send a message (/? for help)

  • 方式二:下载并部署

拉取的过程后面可能会很慢,对于 linux 和 mac 使用挂在后台拉取:

nohup ollama pull deepseek-r1:70b &

3. 列出本地已下载的模型

ollama list

在这里插入图片描述

四、Ollama命令大全

命令描述示例
ollama run [model-name]启动模型并与之交互ollama run deepseek-r1:7b
ollama list列出本地已下载的模型ollama list
ollama pull [model-name]从模型库中下载一个模型ollama pull deepseek-r1:7b
ollama rm [model-name]删除本地的一个模型ollama rm deepseek-r1:7b
ollama show [model-name]查看某个模型的详细信息ollama show deepseek-r1:7b
ollama serve启动 Ollama 服务ollama serve
ollama stop停止 Ollama 服务ollama stop
ollama logs查看 Ollama 的日志信息ollama logs
ollama create [model-name] -f [config-file]使用自定义的模型配置文件创建模型ollama create deepseek-r1:7b -f ./my-model-config.yaml
ollama export [model-name] [output-file]导出模型为文件ollama export deepseek-r1:7b ./llama2-model.tar
ollama import [input-file]从文件导入模型ollama import ./llama2-model.tar
ollama version查看 Ollama 的版本信息ollama version
ollama --help查看所有可用的命令及其说明ollama --help

五、常见问题解决

  • 模型不存在?
    确认模型名称正确,或访问DeepSeek官网获取最新模型名称。
  • 网络问题
    配置代理(Linux/macOS):
    export HTTP_PROXY=http://127.0.0.1:7890
    export HTTPS_PROXY=http://127.0.0.1:7890

附:DeepSeek模型资源

  • DeepSeek-R1:https://github.com/deepseek-ai/DeepSeek-R1
  • 官方模型库:https://huggingface.co/deepseek-ai
  • Ollama文档:https://github.com/ollama/ollama

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/11767.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C语言入门】解锁核心关键字的终极奥秘与实战应用(二)

目录 一、sizeof 1.1. 作用 2.2. 代码示例 二、const 2.1. 作用 2.2. 代码示例 三、signed 和 unsigned 3.1. 作用 3.2. 代码示例 四、struct、union、enum 4.1. struct(结构体) 4.1.1. 作用 4.1.2. 代码示例 4.2. union(联合…

如何确认Linux嵌入式系统的触摸屏对应的是哪个设备文件?如何查看系统中所有的输入设备?输入设备的设备文件有什么特点?

Linux嵌入式系统的输入设备的设备文件有什么特点? 在 Linux 中,所有的输入设备(如键盘、鼠标、触摸屏等)都会被内核识别为 输入事件设备,并在 /dev/input/ 目录下创建相应的 设备文件,通常是: …

ESP32-c3实现获取土壤湿度(ADC模拟量)

1硬件实物图 2引脚定义 3使用说明 4实例代码 // 定义土壤湿度传感器连接的模拟输入引脚 const int soilMoisturePin 2; // 假设连接到GPIO2void setup() {// 初始化串口通信Serial.begin(115200); }void loop() {// 读取土壤湿度传感器的模拟值int sensorValue analogRead…

Hive:窗口函数(1)

窗口函数 窗口函数OVER()用于定义一个窗口,该窗口指定了函数应用的数据范围 对窗口数据进行分区 partition by 必须和over () 一起使用, distribute by经常和sort by 一起使用,可以不和over() 一起使用.DISTRIBUTE BY决定了数据如何分布到不同的Reducer上&#xf…

【react-redux】react-redux中的 useDispatch和useSelector的使用与原理解析

一、useSelector 首先,useSelector的作用是获取redux store中的数据。 下面就是源码,感觉它的定义就是首先是createSelectorHook这个方法先获得到redux的上下文对象。 然后从上下文对象中获取store数据。然后从store中得到选择的数据。 2、useDispatc…

java异常处理——try catch finally

单个异常处理 1.当try里的代码发生了catch里指定类型的异常之后,才会执行catch里的代码,程序正常执行到结尾 2.如果try里的代码发生了非catch指定类型的异常,则会强制停止程序,报错 3.finally修饰的代码一定会执行,除…

传输层协议 UDP 与 TCP

🌈 个人主页:Zfox_ 🔥 系列专栏:Linux 目录 一:🔥 前置复盘🦋 传输层🦋 再谈端口号🦋 端口号范围划分🦋 认识知名端口号 (Well-Know Port Number) 二&#xf…

The Simulation技术浅析(三):数值方法

The Simulation ,通常涉及使用数值方法对物理、工程或金融等领域的问题进行建模和求解。数值方法是解决复杂数学问题的关键技术,常见的数值方法包括 有限差分法(FDM)、有限元法(FEM) 和 蒙特卡洛方法(Monte Carlo Method)。 1. 有限差分法(FDM) 有限差分法是一种用于…

深度学习-98-大语言模型LLM之基于langchain的代理create_react_agent工具

文章目录 1 Agent代理1.1 代理的分类1.2 ReAct和Structured chat2 代理应用ReAct2.1 创建工具2.1.1 嵌入模型2.1.2 创建检索器2.1.3 测试检索结果2.1.4 创建工具列表2.2 初始化大模型2.3 创建Agent2.4 运行Agent3 参考附录1 Agent代理 Agent代理的核心思想是使用语言模型来选择…

小试牛刀,AI技术实现高效地解析和转换多种文档格式

⭐️⭐️⭐️⭐️⭐️欢迎来到我的博客⭐️⭐️⭐️⭐️⭐️ 🐴作者:秋无之地 🐴简介:CSDN爬虫、后端、大数据、人工智能领域创作者。目前从事python全栈、爬虫和人工智能等相关工作,主要擅长领域有:python…

WPF进阶 | WPF 动画特效揭秘:实现炫酷的界面交互效果

WPF进阶 | WPF 动画特效揭秘:实现炫酷的界面交互效果 前言一、WPF 动画基础概念1.1 什么是 WPF 动画1.2 动画的基本类型1.3 动画的核心元素 二、线性动画详解2.1 DoubleAnimation 的使用2.2 ColorAnimation 实现颜色渐变 三、关键帧动画深入3.1 DoubleAnimationUsin…

自制虚拟机(C/C++)(三、做成标准GUI Windows软件,扩展指令集,直接支持img软盘)

开源地址:VMwork 要使终端不弹出&#xff0c; #pragma comment(linker, "/subsystem:windows /ENTRY:mainCRTStartup") 还要实现jmp near 0x01类似的 本次的main.cpp #include <graphics.h> #include <conio.h> #include <windows.h> #includ…

tomcat核心组件及原理概述

目录 1. tomcat概述 1.1 概念 1.2 官网地址 2. 基本使用 2.1下载 3. 整体架构 3.1 核心组件 3.2 从web.xml配置和模块对应角度 3.3 如何处理请求 4. 配置JVM参数 5. 附录 1. tomcat概述 1.1 概念 什么是tomcat Tomcat是一个开源、免费、轻量级的Web服务器。 Tomca…

docker gitlab arm64 版本安装部署

前言&#xff1a; 使用RK3588 部署gitlab 平台作为个人或小型团队办公代码版本使用 1. docker 安装 sudo apt install docker* 2. 获取arm版本的gitlab GitHub - zengxs/gitlab-arm64: GitLab docker image (CE & EE) for arm64 git clone https://github.com/zengxs…

LabVIEW在电机自动化生产线中的实时数据采集与生产过程监控

在电机自动化生产线中&#xff0c;实时数据采集与生产过程监控是确保生产效率和产品质量的重要环节。LabVIEW作为一种强大的图形化编程平台&#xff0c;可以有效实现数据采集、实时监控和自动化控制。详细探讨如何利用LabVIEW实现这一目标&#xff0c;包括硬件选择、软件架构设…

python算法和数据结构刷题[1]:数组、矩阵、字符串

一画图二伪代码三写代码 LeetCode必刷100题&#xff1a;一份来自面试官的算法地图&#xff08;题解持续更新中&#xff09;-CSDN博客 算法通关手册&#xff08;LeetCode&#xff09; | 算法通关手册&#xff08;LeetCode&#xff09; (itcharge.cn) 面试经典 150 题 - 学习计…

【PyTorch】7.自动微分模块:开启神经网络 “进化之门” 的魔法钥匙

目录 1. 梯度基本计算 2. 控制梯度计算 3. 梯度计算注意 4. 小节 个人主页&#xff1a;Icomi 专栏地址&#xff1a;PyTorch入门 在深度学习蓬勃发展的当下&#xff0c;PyTorch 是不可或缺的工具。它作为强大的深度学习框架&#xff0c;为构建和训练神经网络提供了高效且灵活…

C++基础day1

前言&#xff1a;谢谢阿秀&#xff0c;指路阿秀的学习笔记 一、基础语法 1.构造和析构: 类的构造函数是一种特殊的函数&#xff0c;在创建一个新的对象时调用。类的析构函数也是一种特殊的函数&#xff0c;在删除所创建的对象时调用。 构造顺序&#xff1a;父类->子类 析…

深入理解linux中的文件(上)

1.前置知识&#xff1a; &#xff08;1&#xff09;文章 内容 属性 &#xff08;2&#xff09;访问文件之前&#xff0c;都必须打开它&#xff08;打开文件&#xff0c;等价于把文件加载到内存中&#xff09; 如果不打开文件&#xff0c;文件就在磁盘中 &#xff08;3&am…

Spring Boot Web项目全解析:从前端请求到后端处理

第一章&#xff1a;对静态资源的整合 ConfigurationProperties(prefix"spring.resources", ignoreUnknownFieldsfalse)public class ResourceProperties implements ResourceLoaderAware {//可以设置和静态资源有关的参数&#xff0c;缓存时间等WebMvcAuotConfigura…