前言
最近DeepSeek大模型很火,实际工作中也有使用,很多人觉得需要很好的显卡才能跑起来,至少显存需要很高,但实际上一般的核显机器也能跑起来,只不过内存要求要大,对于个人而言,实际上Mac M芯片的内存也行,就是有点贵(戏称黄金内存)😅,实际上AMD也有专门供给AI的APU AI Max系列(增大内存带宽和通道)或者NVIDIA的定制机,当然真实生产力另说。
实际体验
还是使用Ollama启动器:M2 Mac mini跑Llama3_在m2上运行llama3-8b-CSDN博客
这一块就不说了,说点真实体验
执行模型拉取,笔者使用M4 macmini 丐版可以运行14b模型,运行流畅
ollama run deepseek-r1:14b
大约9G左右
内存并没怎么占用,经测试使用Intel 12400 Ubuntu核显都能跑,但是速度要比macmini慢一些,建议如果是核显机器跑7b或者8b模型,毕竟是运行模型并不是训练模型并不怎么耗显存。
预测:8G的电脑可以跑7b或者8b的模型,占用应该在6G左右
16G的电脑跑14b模型,占用在9G左右
32G电脑可以跑32b模型,占用估计24G左右
UI
笔者以前基本上不使用UI,直接就是命令行,其实也没事,不过图形化还是可以增加使用效率,这里就用一个免费的软件ChatBox为例,当然也可以使用docker运行各种UI,也是免费的,我这里为了不允许docker,就用了桌面端软件。
简单设置一下就可以用了
我这里使用的Ollama,如果使用其他启动器,相对应即可,这个UI已经默认选择就配置好了API接口(启动器官网有相关说明)。
然后选择
其他的也可以自己设置,随便问一个问题
相对于Llama3,中文不会水土不服
使用体验而言,14b已经很不错了,当然模型越大越好,但是越大的模型就越需要显存。
总结
仅仅是分享体验感受,实际上体验本地的AI模型的门槛是很低的,一般的Intel 核显就行,也需要一定的显存,不过不是特别消耗,如果实在不足那么也可以降低模型的大小,当然蒸馏模型越小失真就越严重,物理定律是不能违背的。另外也可以配置一个UI界面,如果是生产环境就建议部署docker应用,自己本地体验实际上用免费的桌面软件就好了。