【AI】Deepseek本地部署探索,尝试联网搜索

前言

1月下旬,Deepseek-R1横空出世,其依靠堪比GPT-o1的推理能力,训练成本及使用成本均只有gpt几十分之一甚至百分之一的超高性价比,以及它足够“OPEN”的特性直接暴打人工智能的资本行业,本着求实求新的精神,本人体验了一段时间在线的Deepseek-R1,给出评价:
牛逼!说话一股人味,而不是AI味!
虽然在线模型很好用,但是架不住用的人太多(还有很多境外的网络攻击,现在已经限制仅+86手机号可注册使用,攻守异形了属于是),联网搜索总是无法使用,而且API平台也显示正在维护,所以我把目标看上了本地部署,当然现在要想部署完整版的Deepseek-R1是明显不可能的,玩玩蒸馏版本还是可以的,不过蒸馏版本并不是满血Deepseek,它实际上是由qwen2.5和llama微调剪枝训练出来的,所以体验上肯定比不上官网的Deepseek-R1,但是具体怎么样,就看部署后的测试表现了。

准备工作

  1. ollama,用于部署各种开源模型,并开放接口的程序
  2. Deepseek-R1:32B,蒸馏后的模型,这是本次的重点,按照自己的电脑硬件进行选择,这里我使用的是4090搭配64G内存进行测试,实测使用家庭服务器5600G+32G内存,纯CPU推理,7B和8B的模型都还能运行,14B甚至也能运行,只是思考时间较长,这个模型的需求是较低的,大胆尝试!
  3. Page Assist,一个开源的WEBUI,用于可视化的模型对话,特点是可接入联网搜索,并且很方便能配合嵌入模型。
  4. 个人电脑一台,有无显卡不影响,有显卡会跑在显卡上,没显卡会跑在CPU上,尽可能把内存搞大点就行,然后我这里的系统使用的是Windows11作为示例。

流程

  1. 上ollama官网下载ollama程序,并安装,下载速度较慢的话可以尝试使用迅雷下载,下载人很多用迅雷下载的会很快,有IDM也可以用IDM,傻瓜式安装一直下一步就行。

  2. 进入Deepseek-R1模型网页,复制安装指令ollama run deepseek-r1:32(这里按照你自己的模型复制)复制地址

  3. 管理员运行CMD,把复制好的指令贴进去,回车,程序会自动下载和安装运行,纯傻瓜式!这里要注意一点,这是纯傻瓜式操作,这样的好处就是可以啥都不用想,适合小白想体验的,C盘容量足够大的,如果不是,那就要修改一下模型的保存地址,去系统环境变量添加一个变量(不会的话可以搜索一下,或者直接问deepseek网页版),如果已经下载了模型,到默认地址,那默认地址一般就是C:\Users\%username%\.ollama\models,无论是想删除还是想移动都是在这里找。修改环境变量

  4. 下载的时候一般能跑满,但是在快接近完全下载完的时候会降速,所以请耐心等待。安装展示

  5. 在下载的时候可以去准备浏览器插件,打开插件链接,是Github的链接,如果打不开就想办法改一下DNS,国内只要DNS能解析就能访问,有科学的可以直接安装,没有科学的就从Releases里下载好后手动安装,不会的话就问Deepseek。在这里插入图片描述

  6. 等待模型安装好了,就可以直接在终端(黑框框)里直接进行对话了,4090运行32B模型推理生成速度很快,这里问了一个电车难题的问题,回复的很快,和在官网上使用的速度基本一致,服务器上纯CPU可能就没这么快了,主要是think花很多时间安装完成后的样子在这里插入图片描述

  7. 接入Page Assist,在浏览器的插件中打开,如果没做任何的额外设置,ollama使用的是默认端口,那么现在应该可以直接使用了!这里我们尝试勾选上联网搜索,看看实力。联网对话

  8. 能力还有待进步,毕竟不是满血的,是由Qwen2.5蒸馏而来,但是已经完全够用了。天气预报Unity促销对话

可能的问题

  1. 在联网对话的时候,弹出403代码,无法访问网络,需要在环境变量中添加系统变量,框选部分填自己插件的访问头,我这里是edge浏览器,如果用的是firefox或者chorm都是不一样的,需要自己去看一下/。在这里插入图片描述
  2. 添加嵌入模型,ollama pull nomic-embed-text,然后在插件里RAG设置中选择嵌入模型即可。
  3. 还有其他问题欢迎留言或私信讨论,准备再研究一下ollama配合cline进行代码生成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/10282.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DeepSeek介绍

目录 前言 1.介绍一下你自己 2.什么是CUDA CUDA的核心特点: CUDA的工作原理: CUDA的应用场景: CUDA的开发工具: CUDA的局限性: 3.在AI领域,PTX是指什么 1. PTX 的作用 2. PTX 与 AI 的关系 3. …

WGCLOUD服务器资源监控软件使用笔记 - Token is error是什么错误

[wgcloud-agent]2025/01/30 10:41:30 WgcloudAgent.go:90: 主机监控信息上报server开始 [wgcloud-agent]2025/01/30 10:41:30 WgcloudAgent.go:99: 主机监控信息上报server返回信息: {"result":"Token is error"} 这个错误是因为agent配置的wgToken和serv…

OpenAI-Edge-TTS:本地化 OpenAI 兼容的文本转语音 API,免费高效!

文本转语音(TTS)技术已经成为人工智能领域的重要一环,无论是语音助手、教育内容生成,还是音频文章创作,TTS 工具都能显著提高效率。今天要为大家介绍的是 OpenAI-Edge-TTS,一款基于 Microsoft Edge 在线文本…

Leetcode 131 分割回文串(纯DFS)

131. 分割回文串https://leetcode.cn/problems/palindrome-partitioning/https://leetcode.cn/problems/palindrome-partitioning/ 给你一个字符串 s,请你将 s 分割成一些子串,使每个子串都是 回文串 。返回 s 所有可能的分割方案。 示例 1&#xff1a…

服务器虚拟化技术详解与实战:架构、部署与优化

📝个人主页🌹:一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 引言 在现代 IT 基础架构中,服务器虚拟化已成为提高资源利用率、降低运维成本、提升系统灵活性的重要手段。通过服务…

记录一次,PyQT的报错,多线程Udp失效,使用工具如netstat来检查端口使用情况。

1.问题 报错Exception in thread Thread-1: Traceback (most recent call last): File "threading.py", line 932, in _bootstrap_inner File "threading.py", line 870, in run File "main.py", line 456, in udp_recv IndexError: list…

【PyTorch】6.张量运算函数:一键开启!PyTorch 张量函数的宝藏工厂

目录 1. 常见运算函数 个人主页:Icomi 专栏地址:PyTorch入门 在深度学习蓬勃发展的当下,PyTorch 是不可或缺的工具。它作为强大的深度学习框架,为构建和训练神经网络提供了高效且灵活的平台。神经网络作为人工智能的核心技术&…

线段树 算法

文章目录 基础知识适用场景小结 题目概述题目详解300.最长递增子序列2407.最长递增子序列 II 基础知识 线段树和树状数组都只是一个工具来的,题目并不会一下子就告诉你这个题目用到线段树和树状数组,这个取决于你想使用的数据结构以及所要优化的方向 线…

JVM_类的加载、链接、初始化、卸载、主动使用、被动使用

①. 说说类加载分几步? ①. 按照Java虚拟机规范,从class文件到加载到内存中的类,到类卸载出内存为止,它的整个生命周期包括如下7个阶段: 第一过程的加载(loading)也称为装载验证、准备、解析3个部分统称为链接(Linking)在Java中数据类型分为基本数据类型和引用数据…

SpringBoot+Vue的理解(含axios/ajax)-前后端交互前端篇

文章目录 引言SpringBootThymeleafVueSpringBootSpringBootVue(前端)axios/ajaxVue作用响应式动态绑定单页面应用SPA前端路由 前端路由URL和后端API URL的区别前端路由的数据从哪里来的 Vue和只用三件套axios区别 关于地址栏url和axios请求不一致VueJSPS…

socket实现HTTP请求,参考HttpURLConnection源码解析

背景 有台服务器,网卡绑定有2个ip地址,分别为: A:192.168.111.201 B:192.168.111.202 在这台服务器请求目标地址 C:192.168.111.203 时必须使用B作为源地址才能访问目标地址C,在这台服务器默认…

Hive:复杂数据类型之Map函数

Map函数 是Hive里面的一种复杂数据类型, 用于存储键值对集合。Map中的键和值可以是基础类型或复合类型,这使得Map在处理需要关联存储信息的数据时非常有用。 定义map时,需声明2个属性: key 和 value , map中是 key value 组成一个元素 key-value, key必须为原始类…

项目集成GateWay

文章目录 1.环境搭建1.创建sunrays-common-cloud-gateway-starter模块2.目录结构3.自动配置1.GateWayAutoConfiguration.java2.spring.factories 3.pom.xml4.注意:GateWay不能跟Web一起引入! 1.环境搭建 1.创建sunrays-common-cloud-gateway-starter模块…

【C++高并发服务器WebServer】-9:多线程开发

本文目录 一、线程概述1.1 线程和进程的区别1.2 线程之间共享和非共享资源1.3 NPTL 二、线程操作2.1 pthread_create2.2 pthread_exit2.3 pthread_join2.4 pthread_detach2.5 patch_cancel2.6 pthread_attr 三、实战demo四、线程同步五、死锁六、读写锁七、生产消费者模型 一、…

python学opencv|读取图像(四十七)使用cv2.bitwise_not()函数实现图像按位取反运算

【0】基础定义 按位与运算:两个等长度二进制数上下对齐,全1取1,其余取0。按位或运算:两个等长度二进制数上下对齐,有1取1,其余取0。 按位取反运算:一个二进制数,0变1,1变0。 【1】…

初二回娘家

昨天下午在相亲相爱一家人群里聊天,今天来娘家拜年。 聊天结束后,开始准备今天的菜肴,梳理了一下,凉菜,热菜,碗菜。 上次做菜,粉丝感觉泡的不透,有的硬,这次使用开水浸泡…

“星门计划对AI未来的意义——以及谁将掌控它”

“星门计划对AI未来的意义——以及谁将掌控它” 图片由DALL-E 3生成 就在几天前,唐纳德特朗普宣布了“星门计划”,OpenAI随即跟进,分享了更多细节。他们明确表示,计划在未来四年内投资5000亿美元,在美国为OpenAI构建一…

内外网文件摆渡企业常见应用场景和对应方案

在如今的企业环境中,内外网文件摆渡的需求越来越常见,也变得越来越重要。随着信息化的不断推进,企业内部和外部之间的数据交换越来越频繁,如何安全、高效地进行文件传输成了一个关键问题。今天,咱就来聊聊内外网文件摆…

2025一区新风口:小波变换+KAN!速占!

今天给大家分享一个能让审稿人眼前一亮,好发一区的idea:小波变换KAN! 一方面:KAN刚中稿ICLR25,正是风口上,与小波变换的结合还处于起步阶段,正是红利期,创新空间广阔。 另一方面&a…

idea修改模块名导致程序编译出错

本文简单描述分别用Idea菜单、pom.xml文件管理项目模块module 踩过的坑: 通过idea菜单创建模块,并用idea菜单修改模块名,结构程序编译报错,出错的代码莫名奇妙。双击maven弹窗clean时,还是报错。因为模块是新建的&am…