文章目录
- 镜像克隆
- 模型下载
- 测试效果
- AutoDL自定义服务
感谢AutoDL和CodeWithGPU这两个平台,让我们能低成本,低门槛地部署体验这些大模型
镜像克隆
- 我是在CodeWithGPU上克隆的这个镜像
模型下载
-
codewithgpu有介绍
注意这三个文件都需要下载
把那个"客户端下载"里面的命令复制到终端里面,执行即可
测试效果
-
然后切回这个路径,运行demo
运行之前要先打开“自定义服务”,网页版运行命令为streamlit run web_demo.py --server.port 6006
AutoDL自定义服务
-
上次写的那个autodl初体验那个是租的西北A区的卡,那个可以有一个公网IP
-
这次租的是北京的卡,只能ssh,然后本地访问
访问方式B站给了个教程:
https://www.bilibili.com/video/BV1Pk4y1w7Pk/?vd_source=0e8431ba6fd78bb2215c36307a75ac1a -
如何查看端口情况
sudo apt-get update sudo apt-get install iproute2 ss -tuln
或
sudo apt-get update sudo apt-get install net-tools netstat -tuln