一、电脑配置
个人电脑配置
二、安装ollama
简介:Ollama 是一个强大的开源框架,是一个为本地运行大型语言模型而设计的工具,它帮助用户快速在本地运行大模型,通过简单的安装指令,可以让用户执行一条命令就在本地运行开源大型语言模型。
在ollama官网,根据自己电脑的类型选择对应的下载安装程序,比如我这里选择 macos:
下载成功后,直接安装。
如何判断是否安装成功?
打开一个命令行终端,输入命令:ollama -v,显示版本信息,表示安装成功。
三、选择合适的模型
点击ollama–>models选项,可以查看支持运行的模型。
deepseek r1 有多种参数,通常我们macos 选择7b,8b参数即可,参数越大对显卡和内存要求越高,如果你是3090显卡,4090 显卡,可以选择32b,70b,参数越大,效果越好。当然磁盘占用也越大。
选择对应的蒸馏模型,按照下面的命令复制到ollama控制台
DeepSeek-R1-Distill-Qwen-1.5B
ollama run deepseek-r1:1.5bDeepSeek-R1-Distill-Qwen-7B
ollama run deepseek-r1:7bDeepSeek-R1-Distill-Llama-8B
ollama run deepseek-r1:8bDeepSeek-R1-Distill-Qwen-14B
ollama run deepseek-r1:14bDeepSeek-R1-Distill-Qwen-32B
ollama run deepseek-r1:32bDeepSeek-R1-Distill-Llama-70B
ollama run deepseek-r1:70b
四、安装并运行
安装并运行对应的蒸馏模型,命令行执行:
ollama run deepseek-r1:8b
安装成功后,在控制台直接输入问题,即可得到回复:
命令行如何退出大模型对话?
输入:/bye