(2025)深度分析DeepSeek-R1开源的6种蒸馏模型之间的逻辑处理和编写代码能力区别以及配置要求,并与ChatGPT进行对比(附本地部署教程)

(2025)通过Ollama光速部署本地DeepSeek-R1模型(支持Windows10/11)_deepseek猫娘咒语-CSDN博客文章浏览阅读1k次,点赞19次,收藏9次。通过Ollama光速部署本地DeepSeek-R1(支持Windows10/11)_deepseek猫娘咒语 https://blog.csdn.net/m0_70478643/article/details/145486626?spm=1001.2014.3001.5501在上一篇文章中我们完成了DeepSeek-R1的光速本地部署。

我对几种可以本地部署的、个人电脑可以带得动蒸馏模型的性能进行了测试,并测试了各模型的大概配置需求。以便在本地部署时选择合适的模型。

DeepSeek-R1模型简介

首先,DeepSeek-R1开源的模型一共有以下几种:

"Distill": 意味着这些模型是通过蒸馏(knowledge distillation)的方法进行优化的。蒸馏是一种模型压缩技术,主要用于在不显著降低性能的前提下减少模型的大小和复杂度。

"Qwen"代表通义千问(阿里巴巴),可以简单理解为针对中文进行了优化适配。

"Llama"代表Meta(Facebook),也可以简单理解成是针对英文进行了优化适配。

"B"代表这个模型的规模(Model Size),x B代表这个模型使用了x十亿个参数,可以简单理解为数字越大 内存/显存 需求越高,推理效果越好(越聪明)。

我下载了全部的中文版模型进行测试。

分别测试模型性能

1.5b

1.5b逻辑推理能力测试

首先是测试1.5b模型常用的几个问题。

可以看出,1.5b非常的蠢,大略等同于2019年的GPT2.0,属于几乎不能用的状态。

1.5b硬件配置要求

优点是显存占用非常非常的少,并且可以秒回,适合硬件性能很差但仍然想尝试一下本地部署的用户。(测试用GPU是4080,本地跑模型对CPU几乎没要求,i7-9700都可以无压力跑,大模型对内存有一定要求)

7b

7b逻辑推理能力测试

对于这种问题7b可以精准回答并且不需要思考很多(占用很多token)。

但经典的数r问题就露馅了。

 和GPT当前最先进的版本4o差不多。

 因为GPT,没有对中文做适配优化,出于公平考虑,我们用英文并开启推理功能再问一遍(GPT只有o3-mini可以推理)

最终得出结论,自然语言处理能力上,7b约等于GPT 4o/o3-mini。

7b硬件配置要求

7b的显存占用也不算高,约4-5GB,1060显卡也可以跑得动,属于是性价比非常高的模型!

14b

14b逻辑推理能力测试

接下来让我们看看14b的表现

虽然正确的数出了有三个r,但是处理的并不轻松,推理过程巨长

 限于篇幅,这只是一小部分思考,它全篇检查并重新数了五次,但总算是成功数出来了。

其他常用的测试题也可以成功输出。

 14b逻辑推理能力进阶测试

 这种对人类都有些绕的题14b也能解决,反观GPT

14b的NLP能力已经远超GPT,各种AI逻辑测试题没有任何一道可以难住它。

14b代码编写能力测试

接下来测试它的代码编写能力

 完整代码如下

import cv2
import mathdef find_yellow_circles(image_path):# 读取图像img = cv2.imread(image_path)if img is None:print("无法加载图像")return# 转换为HSV颜色空间hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)# 定义黄色范围(可以根据需要调整)lower_yellow = (10, 50, 50)upper_yellow = (30, 255, 255)# 创建掩膜mask = cv2.inRange(hsv, lower_yellow, upper_yellow)# 应用形态学操作以消除噪声和连接区域kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))mask = cv2.erode(mask, kernel, iterations=1)mask = cv2.dilate(mask, kernel, iterations=2)# 查找连通区域contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)# 初始化结果图像result = img.copy()for contour in contours:# 计算包围圆的参数(x, y), radius = cv2.minEnclosingCircle(contour)# 计算面积area = cv2.contourArea(contour)# 计算圆形度:实际面积与理论圆形面积的比例circularity = area / (math.pi * radius**2)# 过滤非圆形区域(可以根据需要调整阈值)if circularity > 0.5:# 绘制检测到的圆圈cv2.circle(result, (int(x), int(y)), int(radius), (0, 255, 0), 2)# 显示结果图像cv2.imshow("Yellow Circles Detected", result)cv2.waitKey(0)cv2.destroyAllWindows()# 示例用法:将 image_path 替换为实际的图像路径
image_path = "path_to_your_image.jpg"
find_yellow_circles(image_path)

让我们来测试一下这个代码,原始图像如下

代码执行结果如下

 可以看出,14b的代码编写能力已经非常非常的夸张了,领先GPT至少一个大版本。

14b硬件配置要求

缺点是需要8-9GB显存,用朋友的4060 8GB版跑会超出显存,占用内存,这会导致CPU占用飙升且回答速度非常慢,但仍然可以输出。

32b

到这里几乎就是普通个人设备的终点了,接下来是32b模型。语言推理能力对于32b来说已经是无需测试了,直接测试他的代码编写能力。

32b代码编写能力测试

同样的问题32b给出的代码:

import cv2
import numpy as npdef find_yellow_circles(image_path):# 读取图像image = cv2.imread(image_path)if image is None:print("无法读取图像")return# 转换为HSV颜色空间hsv_image = cv2.cvtColor(image, cv2.COLOR_BGR2HSV)# 定义黄色的范围(H在15到40之间)lower_yellow = np.array([15, 70, 70])upper_yellow = np.array([40, 255, 255])# 创建掩膜,提取黄色区域mask = cv2.inRange(hsv_image, lower_yellow, upper_yellow)# 使用形态学操作去除噪声kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))mask = cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel)# 应用掩膜到原图像yellow_image = cv2.bitwise_and(image, image, mask=mask)# 转换为灰度图并进行边缘检测gray = cv2.cvtColor(yellow_image, cv2.COLOR_BGR2GRAY)edges = cv2.Canny(gray, 50, 150)# 使用霍夫圆变换检测圆形circles = cv2.HoughCircles(edges, cv2.HOUGH_GRADIENT, dp=1, minDist=20,param1=50, param2=30, minRadius=10, maxRadius=100)if circles is not None:# 将检测到的圆转换为整数坐标circles = np.round(circles[0]).astype(int)for (x, y, r) in circles:# 绘制圆形边界和中心点cv2.circle(image, (x, y), r, (0, 255, 0), 2)cv2.rectangle(image, (x - 5, y - 5), (x + 5, y + 5), (0, 128, 255), -1)# 显示结果cv2.imshow("Yellow Circles", image)cv2.waitKey(0)cv2.destroyAllWindows()return circlesprint("未检测到黄色圆圈")return None# 使用示例
image_path = "your_image.jpg"  # 替换为你的图像路径
find_yellow_circles(image_path)

 测试结果如下

 奇怪,效果为什么还不如14b,公平起见,再重新生成一次!

这次倒是成功了,我又测试了大概五次,发现32b的代码编写能力并没有显著强于14b。

32b硬件配置要求

然而32b对硬件要求很高,我的4080的16GB显存已经无法满足

 需要像4060跑14b那样借用内存来处理参数

会借用7GB内存,借用内存的同时也会消耗CPU性能,会导致回答输出奇慢无比。

也就是需要显存大于24GB才可以流畅运行32b模型,但性能又和14b拉不开差距,所有32b对于普通用户而言性价比较低。

70b

很抱歉,70b的能力测试我无法进行,因为它对配置要求太高了,不光会GPU会占满,甚至会占29个G内存,就算这种情况下,也完全无法正常提问。

最简单的问题都要经过长达5分钟的思考(还没思考成功),这一级别已经脱离了家用电脑的范畴,我推测最少需要两张A100 40GB才有可能流畅运行。

至于未蒸馏的DeepSeek-R1-Zero,671B的模型可以想象配置要求有多夸张。

总结

1.5b可以说完全无法使用,只适合电脑配置很差又想体验本地部署的用户,不如去官网直接问,虽然会经常无响应,大概等于2019年的GPT2.0。

7b的逻辑推理能力有一定进步,但仍然不足以应对较难的问题,综合性价比不高,适合老显卡用户问一些简单的问题,自然语言处理能力大概等于最新的GPT4o/o3-mini。

14b就已经非常强大了,NLP能力和代码编写能力都远远高于GPT,完全可以满足日常使用需求,配置要求也不高,是所有蒸馏模型里性价比最高的。

32b的综合能力没有显著强于14b,而配置要求飙升,已经接近个人电脑的极限,性价比很低不建议使用。

70b是蒸馏模型中最高版本,很遗憾我的设备性能不足不能进行详细测试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/19435.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

qt + opengl 给立方体增加阴影

在前几篇文章里面学会了通过opengl实现一个立方体,那么这篇我们来学习光照。 风氏光照模型的主要结构由3个分量组成:环境(Ambient)、漫反射(Diffuse)和镜面(Specular)光照。下面这张图展示了这些光照分量看起来的样子: 1 环境光照(Ambient …

机器学习-监督学习

1. 定义与原理 监督学习依赖于标记数据(即每个输入样本都对应已知的输出标签),模型通过分析这些数据中的规律,建立从输入特征到目标标签的映射函数。例如,在垃圾邮件检测中,输入是邮件内容,输出…

使用grafana v11 建立k线(蜡烛图)仪表板

先看实现的结果 沪铜主力合约 2025-02-12 的1分钟k线图 功能介绍: 左上角支持切换主力合约,日期,实现动态加载数据. 项目背景: 我想通过前端展示期货指定品种某1天的1分钟k线,类似tqsdk 的web_gui 生成图形化界面— TianQin Python SDK 3.7.8 文档 项目架构: 后端: fastap…

我们来学HTTP/TCP -- 另辟蹊径从响应入手

从响应入手 题记响应结语 题记 很多“废话”,在很多文章中出奇的一致那种感觉是,说了好像又没说一样,可以称之为“电子技术垃圾”当然,是从个人主观的感受,这该死的回旋镖估计也会打在自己头上但咱也学学哪吒精神“我…

Golang官方编程指南

文章目录 1. Golang 官方编程指南2. Golang 标准库API文档 1. Golang 官方编程指南 Golang 官方网站:https://go.dev/ 点击下一步,查看官方手册怎么用 https://tour.go-zh.org/welcome/1 手册中的内容比较简单 go语言是以包的形式化管理函数的 搜索包名…

开源语音克隆项目 OpenVoice V2 本地部署

#本机环境 WIN11 I5 GPU 4060ti 16G 内存 32G #开始 git clone https://github.com/myshell-ai/OpenVoice.git conda create -n opvenv python3.9 -y conda activate opvenv pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/…

Java8适配的markdown转换html工具(FlexMark)

坐标地址&#xff1a; <dependency><groupId>com.vladsch.flexmark</groupId><artifactId>flexmark-all</artifactId><version>0.60.0</version> </dependency> 工具类代码&#xff1a; import com.vladsch.flexmark.ext.tab…

Linux-文件IO

1.open函数 【1】基本概念和使用 #include <fcntl.h> int open(const char *pathname&#xff0c;int flags); int open(const char *pathname&#xff0c;int flags&#xff0c;mode_t mode); 功能: 打开或创建文件 参数: pathname //打开的文件名 f…

flutter 专题四十八 Google发布Flutter 2.0正式版,支持全平台程序构建

今天&#xff0c;Google发布了 Flutter 2.0的正式版本&#xff0c;至2018年Flutter 1.0版本发布以来&#xff0c;在最近的3年的时间礼&#xff0c;Flutter进行了大量的升级以支持更多平台的开发需求。作为 Flutter 的重大升级&#xff0c;Flutter 2.0 增加了对桌面和 Web 应用程…

PowerBI 矩阵 列标题分组显示(两行列标题)

先看效果 数据表如下&#xff1a; 我们在powerbi里新建一个矩阵&#xff0c;然后如图加入字段&#xff1a; 我们就会得到这样的矩阵&#xff1a; 我们在“可视化”->“列”&#xff0c;上双击&#xff0c;输入空格&#xff0c;就能消除左上角的"类别"两字 同理修…

Springboot 中如何使用Sentinel

在 Spring Boot 中使用 Sentinel 非常方便&#xff0c;Spring Cloud Alibaba 提供了 spring-cloud-starter-alibaba-sentinel 组件&#xff0c;可以快速将 Sentinel 集成到你的 Spring Boot 应用中&#xff0c;并利用其强大的流量控制和容错能力。 下面是一个详细的步骤指南 …

LLaMA-Factory DeepSeek-R1 模型 微调基础教程

LLaMA-Factory 模型 微调基础教程 LLaMA-FactoryLLaMA-Factory 下载 AnacondaAnaconda 环境创建软硬件依赖 详情LLaMA-Factory 依赖安装CUDA 安装量化 BitsAndBytes 安装可视化微调启动 数据集准备所需工具下载使用教程所需数据合并数据集预处理 DeepSeek-R1 可视化微调数据集处…

kubernetes源码分析 kubelet

简介 从官方的架构图中很容易就能找到 kubelet 执行 kubelet -h 看到 kubelet 的功能介绍&#xff1a; kubelet 是每个 Node 节点上都运行的主要“节点代理”。使用如下的一个向 apiserver 注册 Node 节点&#xff1a;主机的 hostname&#xff1b;覆盖 host 的参数&#xff1…

【已解决】TypeError: AsyncConnectionPool.__init__(), new install bug, httpx==0.24.1

1&#xff0c;参考社区链接&#xff0c;首先降低gradio版本&#xff0c;降低到4以下&#xff0c;但是也不能降太低&#xff0c;也不能太高&#xff0c;要适中&#xff0c;推荐版本3.39.0 pip install gradio3.39.0 2&#xff0c;下载正确的httpx版本 参考社区链接&#xff0…

基于fastadmin快速搭建导航站和API接口站点系统源码

源码介绍 基于fastadmin快速搭建导航站和API接口站点系统源码 上传源码 设置运行目录为/public 导入 数据库.sql到数据库 设置配置文件application/database.php 后台admin.php 可以自己随意修改本文件名称为后台地址 推荐越复杂越好 账号admin 密码 123456 效果预览

Spring Web MVC入门

目录 学习Spring MVC 一、建立连接 RestController和RequestMapping RequestMapping 使用 访问地址&#xff1a;类路径方法路径 既支持Get请求又支持Post请求 ⭐️指定GET方法类型 &#x1f319;指定POST方法类型 二、请求 1️⃣传递单个参数 2️⃣传递多个参数 ​…

案例-04.部门管理-删除

一.功能演示 二.需求说明 三.接口文档 四.思路 既然是通过id删除对应的部门&#xff0c;那么必然要获取到前端请求的要删除部门的id。id作为请求路径传递过来&#xff0c;那么要从请求路径中获取&#xff0c;id是一个路径参数。因此使用注解PathVariable获取路径参数。 请求方…

mysql的rpm包安装

(如果之前下载过mariadb&#xff0c;使用yum remove mariadb卸载&#xff0c;因为mariadb与rpm包安装的mysql有很多相似的组件和文件&#xff0c;会发生冲突&#xff0c;而源码包安装的mysql不会&#xff0c;所以不用删除源码包安装myqsl&#xff0c;只删除mariadb就可以&#…

内容中台重构企业内容管理流程驱动智能协作升级

内容概要 内容中台作为企业数字化转型的核心基础设施&#xff0c;通过技术架构革新与功能模块整合&#xff0c;重构了传统内容管理流程的底层逻辑。其核心价值在于构建动态化、智能化的内容生产与流转体系&#xff0c;将分散的创作、存储、审核及分发环节纳入统一平台管理。基…

haproxy实现MySQL服务器负载均衡

1.环境准备 准备好下面四台台服务器&#xff1a; 主机名IP角色open-Euler1192.168.121.150mysql-server1openEuler-2192.168.121.151mysql-server2openEuler-3192.168.121.152clientRocky8-1192.168.121.160haproxy 2.mysql服务器配置 1.下载mariadb #下载mariadb [rootop…