地瓜RDK X5上手ollama大模型测试
契机
⚙ 上次逛ollama的时候发现有很多小参数的大模型,比如qwen2:0.5b,llama3.2:1b,甚至还有一个1.8b的多模态模型moondream,找公司1拿到一块RDK X5的开发板,官网查看算力可达10TOPS,不懂这个算力是啥级别,也没做过iot平台的开发,但看系统是ubuntu,那问题不大,直接装ollama来跑,调研下个版本的智能硬件。
硬件烧录
RDK DOC
- 准备至少8GB容量的Micro SD卡
- SD 读卡器
- 下载镜像烧录工具balenaEtcher,
https://etcher.balena.io/#download-etcher
- 下载镜像:https://archive.d-robotics.cc/downloads/os_images/rdk_x5/
- desktop为有界面的
- server为无界面的,资源占用率低
- 我下载的是desktop,看看界面啥样
- 现在下来的是压缩包,需要解压
- 烧录进sd卡
- 然后ttl链接电脑,使用终端工具进入命令行,或者你直接使用hdmi连上键盘鼠标才做ui
进入系统
设置wifi
#链接wifi(可以设置多个)
sudo wifi_connect "wifiname" 'psw'#看看ip地址
#这个ip地址要记住,等下ssh链接就可以不使用ttl了
#vnc也需要这个ip地址
ifconfig#默认登陆账号密码都是root
设置vnc
RDK DOC
macos可以使用《屏幕共享》直接链接
测试ollama
安装
#更新ca证书
sudo apt-get update#安装ollama
curl -fsSL https://ollama.com/install.sh | sh#把三个镜像都搞下来
ollama run moondream:latest
ollama run llama3.2:1b
ollama run qwen2:0.5b
测试结果
qwen2:0.5b
llama3.2:1b
moondream:latest
图片识别一直在转圈圈,运行不了,应该是现在没有使用BPU加速的原因,我也看不懂,应该ratio是0就是没走BPU吧
watch -n 0.1 hrut_somstatusroot@ubuntu:~# hrut_somstatus
=====================1=====================
temperature-->DDR : 55.2 (C)BPU : 54.3 (C)CPU : 54.3 (C)
cpu frequency-->
-e min(M) cur(M) max(M)
-e cpu0: 300 1200 1500
-e cpu1: 300 1200 1500
-e cpu2: 300 1200 1500
-e cpu3: 300 1500 1500
-e cpu4: 300 1200 1500
-e cpu5: 300 1500 1500
-e cpu6: 300 1500 1500
-e cpu7: 300 1200 1500
bpu status information---->
-e min(M) cur(M) max(M) ratio
-e bpu0: 500 1000 1000 0
ddr frequency information---->
-e min(M) cur(M) max(M)
-e ddr: 266 4266 4266
GPU gc8000 frequency information---->
-e min(M) cur(M) max(M)
-e gc8000: 200 1000 1000
总结
- 没啥难度
- BPU到底是啥,算力到底是啥,不清楚这些定义
- 在linux服务器上部署大模型的时候可以直接调用to_cuda,直接在gpu加载模型,看了下文档,BPU好像更麻烦一点