高端入门:Ollama 本地高效部署DeepSeek模型深度搜索解决方案

目录

一、Ollama 介绍

二、Ollama下载 

2.1 官网下载

2.2 GitHub下载

三、模型库

四、Ollmal 使用

4.1 模型运行(下载)

4.2 模型提问

五、Ollama 常用命令

相关推荐


一、Ollama 介绍

        Ollama是一个专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计的开源框架。以下是对Ollama的详细解释:

  • 简化部署:Ollama旨在简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。
  • 轻量级与可扩展:作为轻量级框架,Ollama保持了较小的资源占用,同时具备良好的可扩展性,允许用户根据需要调整配置以适应不同规模的项目和硬件条件。
  • 跨平台支持:Ollama提供针对macOS、Windows(预览版)、Linux以及Docker的安装指南,确保用户能在多种操作系统环境下顺利部署和使用。

二、Ollama下载 

2.1 官网下载

        Ollama 支持多平台部署,可以在官网,选择适合的平台进行下载,如下图:

2.2 GitHub下载

GitHub - ollama/ollama: Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models.Get up and running with Llama 3.3, DeepSeek-R1, Phi-4, Gemma 2, and other large language models. - ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollama

三、模型库

        Ollama 支持在 ollama.com/search 上获取的模型列表,比如最近比较火的 deepseek-r1:

        不同版本的模型所需内存大小也有所不同。例如在Ollama中部署DeepSeek-R1的不同版本(1.5b、7b、8b、14b、32b、70b、671b)所需的内存大小:

DeepSeek-R1版本所需内存(大约)备注
1.5b1.1GB硬盘空间内存需求相对较低
7b4.7GB硬盘空间内存和显存需求适中
8b约4.9GB硬盘空间显存占用约6.5GB左右
14b约9GB硬盘空间内存需求较高,建议至少8GB以上内存,显存占用约13GB
32b约20GB硬盘空间需要更高的内存和显存配置,建议至少32GB内存
70b约43GB硬盘空间需要非常大的内存和显存资源,适合高端配置
671b约404GB硬盘空间这是目前提到的最大版本,所需内存和显存资源将是所有版本中最高的

        根据自身需要选择版本,如下是我之前下的几个模型的版本和所占内存大小:

四、Ollmal 使用

4.1 模型运行(下载)

        打开命令终端,输入指令 ollama run xxxx(模型名称,如deepseek-r1),若是首次运行某个模型,Ollma 会先下载对应的模型文件,然后运行模型。        

//下载7b版本
ollama run deepseek-r1//下载14b版本
ollama run deepseek-r1:14b

        可以根据不同命令下载不同版本,怎么获取命令?你可以先选中模型的版本,ollama 会根据不同的版本生成命令,如下图所示:

4.2 模型提问

五、Ollama 常用命令

  • ollama serve:该命令用于启动Ollama服务器(在不运行桌面应用程序的情况下启动 ollama;),以便运行模型和处理请求。首次启动可能会生成ssh私钥文件,并提示服务端口状态。
  • ollama start:启动服务。
  • ollama list或ollama ls:列出本地所有可用的模型。
  • ollama ps:显示当前正在运行的模型列表。
  • ollama show [模型名称]:查看特定模型的详细信息,如模型名称、版本等。
  • ollama pull [模型名称]:从模型注册表中拉取一个模型到本地使用。此命令也可以用于更新本地模型,只会拉取差异部分。
  • ollama run [模型名称]。运行一个已安装的模型,执行某些任务。可以根据需要指定模型的参数和配置。
  • ollama create [模型路径]:使用包含模型信息的 [模型路径]来创建一个新模型。
  • ollama push [模型名称]:将本地模型推送到模型注册表中,以便他人或其他系统使用。
  • ollama cp [原模型名称] [新模型名称]:复制一个模型到另一个位置或给定名称的地方。
  • ollama rm [模型名称]:删除一个已安装的模型。
  • ollama -vollama --version:显示当前Ollama工具的版本信息。

相关推荐

Download Ollama on macOSDownload Ollama for macOShttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://ollama.com/downloadhttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamahttps://github.com/ollama/ollamaNeo4j 图数据库安装与操作指南(以mac为例)_neo4j安装-CSDN博客文章浏览阅读1w次,点赞78次,收藏82次。本文介绍了Neo4j图数据库的安装、配置、启动以及基本操作方法。首先,需要满足Java环境的安装要求,并可选择使用Homebrew进行安装。然后,从官方网站下载Neo4j并解压,或通过Homebrew进行安装。配置Neo4j时,可设置环境变量以简化命令操作。启动Neo4j后,可通过Cypher查询语言进行节点、关系的创建、修改、匹配和删除等操作。本文还介绍了Neo4j的其他常用命令,如查询版本、服务状态、重启、停止和卸载等。_neo4j安装https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514https://shuaici.blog.csdn.net/article/details/144115514

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/13827.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【DeepSeek论文精读】2. DeepSeek LLM:以长期主义扩展开源语言模型

欢迎关注[【youcans的AGI学习笔记】](https://blog.csdn.net/youcans/category_12244543.html)原创作品 【DeepSeek论文精读】1. 从 DeepSeek LLM 到 DeepSeek R1 【DeepSeek论文精读】2. DeepSeek LLM:以长期主义扩展开源语言模型 【DeepSeek论文精读】…

力扣.623. 在二叉树中增加一行(链式结构的插入操作)

Problem: 623. 在二叉树中增加一行 文章目录 题目描述思路复杂度Code 题目描述 思路 1.首先要说明,对于数据结构无非两大类结构:顺序结构、链式结构,而二叉树实质上就可以等效看作为一个二叉链表,而对于链表插入一个节点的操作是应…

深度学习01 神经网络

深度学习是机器学习领域中的一个新的研究方向。所以在学习深度学习之前我们需要了解一下神经网络。 神经网络 神经网络:是由大量的节点(或称“神经元”)和之间相互的联接构成。 每个节点代表一种特定的输出函数,称为激励函数、激活函数&…

基于JUnit4和JUnit5配合例子讲解JUnit的两种运行方式

1 引言 最近读的书有老有新,在读的过程中都完全完成了相应例子的构建和运行。在读《Spring in Action》1第4版时,其第37页的例子(以下称例子1)基于JUnit 4,并需要spring-test.jar;而在读《JUnit in Action…

【提示词工程】探索大语言模型的参数设置:优化提示词交互的技巧

在与大语言模型(Large Language Model, LLM)进行交互时,提示词的设计和参数设置直接影响生成内容的质量和效果。无论是通过 API 调用还是直接使用模型,掌握模型的参数配置方法都至关重要。本文将为您详细解析常见的参数设置及其应用场景,帮助您更高效地利用大语言模型。 …

使用Python创建、读取和修改Word文档

自动化文档处理是提升工作效率的关键路径之一,而Python凭借其简洁语法和丰富的生态工具链,是实现文档自动化处理的理想工具。通过编程手段批量生成结构规范的合同模板、动态注入数据分析结果生成可视化报告,或是快速提取海量文档中的关键信息…

Android Studio 2024.2.2.13版本安装配置详细教程

Android Studio 是由 Google 官方开发和维护的集成开发环境(IDE),专为 Android 应用开发设计。它是基于 JetBrains 的 IntelliJ IDEA 平台构建的,集成了丰富的工具和功能,帮助开发者高效构建、调试、测试和发布 Androi…

Qt实现简易音乐播放器

使用Qt6实现简易音乐播放器,效果如下: github: Gabriel-gxb/MusicPlayer: qt6实现简易音乐播放器 一、整体架构 基于Qt框架构建 整个音乐播放器程序以Qt框架为基础进行开发。Qt提供了丰富的类库和工具,方便开发者构建图形用户界…

GPT-4使用次数有上限吗?一文了解使用规则

GPT-4的推出,让越来越多的用户开始体验其卓越的功能。无论是用于日常需求还是专业内容制作,GPT-4的应用范围广泛,获得了用户的广泛赞誉。但是,在具体使用过程中,不少用户发现自己似乎触碰到了GPT-4的使用上限&#xff…

水波效果

水波效果指在计算机图形学中模拟水面波纹的视觉效果,通常用于游戏、动画或者其他虚拟场景中。主要用于体现水体的动态感,比如水的波动、反射、折射、透明等,可以让人感觉像真实的水一样流动闪耀。 核心特点就是: 动态波纹光学特…

Redis | 十大数据类型

文章目录 十大数据类型概述key操作命令数据类型命令及落地运用redis字符串(String)redis列表(List)redis哈希表(Hash)redis集合(Set)redis有序集合(ZSet / SortedSet&…

Linux之安装docker

一、检查版本和内核是否合格 Docker支持64位版本的CentOS 7和CentOS 8及更高版本,它要求Linux内核版本不低于3.10。 检查版本 cat /etc/redhat-release检查内核 uname -r二、Docker的安装 1、自动安装 Docker官方和国内daocloud都提供了一键安装的脚本&#x…

【WebLogic】Oracle发布WebLogic 14c最新版本-14.1.2.0

根据Oracle官方产品经理的博客,Oracle于2024年12月20日正式对外发布了WebLogic 14c的第二个正式版本,版本号为 14.1.2.0.0 ,目前官方已开放客户端下载。该版本除继续支持 Jakarta EE 8 版本外,还增加了对 Java SE 17(J…

feign 远程调用详解

在平常的开发工作中,我们经常需要跟其他系统交互,比如调用用户系统的用户信息接口、调用支付系统的支付接口等。那么,我们应该通过什么方式进行系统之间的交互呢?今天,简单来总结下 feign 的用法。 1:引入依…

解决 npm : 无法加载文件 D:\nodeJS\node_global\npm.ps1,因为在此系统上禁止运行脚本。

问题 在我将nodeJS从18更新到22之后,我发现在黑窗口运行npm run dev,可以成功启动项目,但是在Cursor的终端中却报如下错误: PS D:\DESKTOP\项目\vue-ems-admain> npm run dev npm : 无法加载文件 D:\Users\Download\nodeJS\no…

快速对QWen2.5大模型进行微调

先看看训练结果: 目录 前言什么是LLaMA-Factory?安装LLaMA-Factory准备数据集配置微调参数运行微调脚本评估和保存模型使用微调后的模型可视化微调大模型总结 前言 在当今人工智能领域,大模型(如LLaMA、GPT等)的微调…

深入理解linux中的文件(下)

目录 一、语言级缓冲区和内核级缓冲区 二、C语音中的FILE* fp fopen(“./file.txt”,"w"): 四、理解磁盘结构: 物理结构 逻辑结构 五、未被打开的文件: 六、更加深入理解inode编号怎么找到文件: 七、对路径结构进行…

自动化测试、压力测试、持续集成

因为项目的原因,前段时间研究并使用了 SoapUI 测试工具进行自测开发的 api。下面将研究的成果展示给大家,希望对需要的人有所帮助。 SoapUI 是什么? SoapUI 是一个开源测试工具,通过 soap/http 来检查、调用、实现 Web Service 的…

BUU28 [GXYCTF2019]BabySQli1

常规万能密码,发现登不上去 过滤掉了or,,当尝试了n种方法以后,最关键的是发现()居然也被过滤了 哈哈,那玩个淡, 再搜wp!! 当输入admin的时候,提示密码错误&#xff0…

Zenoh在工业物联网场景中的性能研究

论文标题 中文标题:Zenoh在工业物联网场景中的性能研究 英文标题:On the performance of Zenoh in Industrial IoT Scenarios 作者信息 Miguel Barn, Luis Diez, Mihail Zverev, Jos R. Jurez, Ramn Agero Miguel Barn:Ikerlan技术研究中心…