本地部署deepseek模型步骤

文章目录

    • 0.deepseek简介
    • 1.安装ollama软件
    • 2.配置合适的deepseek模型
    • 3.安装chatbox可视化

0.deepseek简介

DeepSeek 是一家专注于人工智能技术研发的公司,致力于打造高性能、低成本的 AI 模型,其目标是让 AI 技术更加普惠,让更多人能够用上强大的 AI 工具1。DeepSeek 由幻方量化孵化,成立于2023年4月,是一家创新型科技公司,专注于开发先进的大语言模型(LLM)和相关技术。DeepSeek 推出的大模型在技术圈与投资界突然“爆火”,成立仅一年多的深度求索(DeepSeek)公司于1月20日推出其新一代大模型R1,性能显示出与OpenAI的最新版本相当的潜力,却在训练成本上实现了大幅度降低。2

DeepSeek-R1 是 DeepSeek 推出的推理大模型,它在数学、代码、自然语言推理等任务上的性能可以比肩 OpenAI 的 o1 模型正式版3。DeepSeek-R1 的成功预示着中国在人工智能模型研发方面取得了从模仿到超越的重要突破。DeepSeek-R1 的预训练费用只有557.6万美元,在2048块英伟达H800 GPU集群上运行55天完成4。DeepSeek 还因其新发布的开源模型 R1 在性能和成本效率上的突破性表现,引发了整个 AI 行业的广泛讨论。5

1.安装ollama软件

1.进入ollama官网,下载适合自己计算机版本的安装包(大约3min),我这里下载的是windows版本。

在这里插入图片描述
在这里插入图片描述

下载好之后如下图所示:
在这里插入图片描述

2.安装ollama软件。点击下载好的.exe文件,然后点击Install,默认安装在C盘(后期可以自己转移位置,详见文章:将ollama迁移到其他盘
在这里插入图片描述

3.打开ollama软件,电脑右下角会出现这样的图标:

在这里插入图片描述

2.配置合适的deepseek模型

  1. 在ollama官网中点击Models,点击deepseek-r1,根据自己电脑选择不同版本的模型,复制后面的那句命令。

    在这里插入图片描述在这里插入图片描述

  2. win+R然后输入cmd,调出命令行窗口。

  3. 输入命令ollama -v 查看ollama的版本,确保ollama软件已经在运行状态,才能进行后面的操作。

  4. 将刚才复制的命令复制到命令行窗口,点击回车即可。

    在这里插入图片描述

  5. 当进度条到100%的时候,会出现一句话:send a message,这样就是已经部署成功14b模型了。

    可以直接在这个命令行窗口输入对话使用14b的模型。

    在这里插入图片描述

这里示范的是部署14b的模型,时间比较久,可能和网速有关系,我这边网速也比较慢,大约得有1个多小时才弄好。(会有进度条提示)

但是后来发现我的电脑太老了,部署14b之后,带不起来。

  • 我的电脑GPU是NVIDIA GeForce MX150:这款显卡性能相对有限,可能无法提供足够的计算能力来快速处理大型模型。对于 DeepSeek R1-14B 这样的大型模型,可能仍然会运行缓慢。

  • MX150 的显存通常为 2GB,这对于运行 14B 参数的模型来说是远远不够的。大型模型需要更多的显存来存储中间计算结果。

  • 所以后面我改为用7b的模型

3.安装chatbox可视化

在命令行窗口中可以使用,但是不方便,所以使用chatbox软件进行可视化操作,这样可以更加便捷的使用deepseek模型。

  1. 进入chatbox官网,下载chatbox安装包
    在这里插入图片描述

  2. 安装chatbox软件,可以自定义安装位置
    在这里插入图片描述

  3. 安装好之后自动运行chatbox软件,点击“使用自己的API KEY或本地模型”,配置刚刚部署的14b模型。

    在这里插入图片描述

    选择Ollama API选项
    在这里插入图片描述

    然后选择已经部署好的14b模型
    在这里插入图片描述

这样就把deepseek部署到本地,并且可视化使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/9709.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[论文总结] 深度学习在农业领域应用论文笔记14

当下,深度学习在农业领域的研究热度持续攀升,相关论文发表量呈现出迅猛增长的态势。但繁荣背后,质量却不尽人意。相当一部分论文内容空洞无物,缺乏能够落地转化的实际价值,“凑数” 的痕迹十分明显。在农业信息化领域的…

快速分析LabVIEW主要特征进行判断

在LabVIEW中,快速分析程序特征进行判断是提升开发效率和减少调试时间的重要技巧。本文将介绍如何高效地识别和分析程序的关键特征,从而帮助开发者在编写和优化程序时做出及时的判断,避免不必要的错误。 ​ 数据流和并行性分析 LabVIEW的图形…

展示统计信息收集情况

看看最近是否收集失败 SET LINES 200 PAGES 0 SET LONG 100000 longc 100000 COLUMN REPORT FORMAT A200VARIABLE stat_report CLOB; BEGIN:stat_report : DBMS_STATS.REPORT_STATS_OPERATIONS (since > SYSDATE-3 , until > SYSDATE , detail_lev…

STM32 TIM输入捕获 测量频率

输入捕获简介: IC(Input Capture)输入捕获 输入捕获模式下,当通道输入引脚出现指定电平跳变时,当前CNT的值将被锁存到CCR中,可用于测量PWM波形的频率、占空比、脉冲间隔、电平持续时间等参数 每个高级定时器…

如何将 Windows 上的文件传递到 Mac 上

文章目录 效果需求Windows 上设置共享磁盘【可选】新建一个带有密码的账户查看 Windows 的 IP 地址Mac 上链接 Windows 共享的磁盘 效果 需求 Windows 上有一个有密码的账户 Windows 上设置共享磁盘 windows 这边需要用 Administrator 权限的账号,把要共享的磁盘设…

NLP模型大对比:Transformer > RNN > n-gram

结论 Transformer 大于 RNN 大于 传统的n-gram n-gram VS Transformer 我们可以用一个 图书馆查询 的类比来解释它们的差异: 一、核心差异对比 维度n-gram 模型Transformer工作方式固定窗口的"近视观察员"全局关联的"侦探"依赖距离只能看前…

ODP(OBProxy)路由初探

OBProxy路由策略 Primary Zone 路由 官方声明默认情况,会将租户请求发送到租户的 primary zone 所在的机器上,通过 Primary Zone 路由可以尽量发往主副本,方便快速寻找 Leader 副本。另外,设置primary zone 也会在一定成都上减少…

Python NumPy(7):连接数组、分割数组、数组元素的添加与删除

1 连接数组 函数描述concatenate连接沿现有轴的数组序列stack沿着新的轴加入一系列数组。hstack水平堆叠序列中的数组(列方向)vstack竖直堆叠序列中的数组(行方向) 1.1 numpy.concatenate numpy.concatenate 函数用于沿指定轴连…

在线课堂小程序设计与实现(LW+源码+讲解)

专注于大学生项目实战开发,讲解,毕业答疑辅导,欢迎高校老师/同行前辈交流合作✌。 技术范围:SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:…

生成模型:扩散模型(DDPM, DDIM, 条件生成)

扩散模型的理论较为复杂,论文公式与开源代码都难以理解。现有的教程大多侧重推导公式。为此,本文通过精简代码(约300行),从代码运行角度讲解扩散模型。 本文包括扩散模型的3项技术复现: 1.DDPM (Denoising…

DeepSeek大模型技术解析:从架构到应用的全面探索

一、引言 在人工智能领域,大模型的发展日新月异,其中DeepSeek大模型凭借其卓越的性能和广泛的应用场景,迅速成为业界的焦点。本文旨在深入剖析DeepSeek大模型的技术细节,从架构到应用进行全面探索,以期为读者提供一个…

[权限提升] 常见提权的环境介绍

关注这个框架的其他相关笔记:[内网安全] 内网渗透 - 学习手册-CSDN博客 通过前期的渗透测试,我们大概率会拿到目标的一个 Shell,比如 WebShell 或者 MSF Shell 等等,不同的 Shell 对应提权的姿势也不同,比如有的 Shell…

SQL注入漏洞之高阶手法 宽字节注入以及编码解释 以及堆叠注入原理说明

目录 宽字节注入 编码区分 原理 函数 转译符号解释 注意 绕过方式详解 堆叠【Stack】注入攻击 注入语句 宽字节注入 在说宽字节注入之前 我们需要知道编码相关的知识点,这个有助于搞定什么是宽字节注入 分清楚是ascii码是什么宽字节注入代码里面加入了adds…

Spring Boot - 数据库集成05 - 集成MongoDB

Spring Boot集成MongoDB 文章目录 Spring Boot集成MongoDB一:使用前的准备1:依赖导入 & 配置2:实体类创建 二:核心 - MongoRepository三:核心 - MongoTemplate1:集合操作2:文档操作(重点)3&…

用 Scoop 优雅管理 Windows 软件:安装、配置与使用全指南

本篇将主要讲讲如何用「Scoop」优雅管理 Windows 软件:安装、配置与使用全指南 一、Scoop 是什么? Scoop 是一款专为 Windows 设计的命令行软件包管理工具,它能让你像 Linux 系统一样通过命令快速安装、更新和卸载软件。其核心优势包括&…

基于SpringBoot的假期周边游平台的设计与实现(源码+SQL脚本+LW+部署讲解等)

专注于大学生项目实战开发,讲解,毕业答疑辅导,欢迎高校老师/同行前辈交流合作✌。 技术范围:SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容:…

JavaScript - Web APIs(下)

日期对象 目标:掌握日期对象,可以让网页显示日期 日期对象:用来表示时间的对象 作用:可以得到当前系统时间 学习路径: 实例化 日期对象方法 时间戳 实例化 目标:能够实例化日期对象 在代码中发…

复古壁纸中棕色系和米色系哪个更受欢迎?

根据最新的搜索结果,我们可以看到棕色系和米色系在复古壁纸设计中都非常受欢迎。以下是对这两种颜色系受欢迎程度的分析: 棕色系 受欢迎程度:棕色系在复古壁纸中非常受欢迎,因为它能够营造出温暖、质朴和自然的氛围。棕色系的壁纸…

Windows11无法打开Windows安全中心主界面

​# 问题描述 安全中心无法打卡主界面,并弹出“需要使用新应用以打开此windowsdefender连接”. 解决方法 以管理员权限打开PowerShell,推荐使用快捷键win x打开快捷界面,选择Windows终端(管理员),并在终…

【Valgrind】安装报错: 报错有未满足的依赖关系: libc6,libc6-dbg

Valgrind 内存泄漏检测工具安装 安装 sudo apt install valgrind官方上也是如此 但是在我的系统&#xff08;debian12)上却失败了&#xff1a; 报错有未满足的依赖关系&#xff1a; libc6 : 破坏: valgrind (< 1:3.19.0-1~) 但是 1:3.16.1-1 正要被安装 libc6-dbg : 依赖…