1, 硬件要求

1.1 硬盘,100G以上,代码+模型数据约50G, 我第一次部署的时候在虚拟机上,存储不足各种问题.

1.2 高性能计算显卡A100/A800,网上搜了一下超过8w块钱,暂时没这资源

1.3 内存, github上有这样描述:可在单张A100/A800或CPU运行，使用FP16精度时约占用30GB显存.搜了一下,我在虚拟机上测试,8G内存报错Cannot allocate memory, 然后放弃虚拟机了,大家部署的时候8G以下内存的机器可以不用试了.具体要多大内存待定.

2, 部署

按照github地址下载仓库和创建conda, github地址: GitHub - OpenLMLab/MOSS: An open-source tool-augmented conversational language model from Fudan University

第3步安装依赖使用阿里资源,境外资源下载太慢

 pip install -r requirements.txt -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com

然后等待10几分钟... ...

3, 阿里云免费的 GPU 服务器

老用户10点开始领取, 每天200份. 新用户好像不用抢.服务器创建参照免费部署一个开源大模型 MOSS_程序员树先生的博客-CSDN博客

创建好服务器后,不需要修改requirements.txt,直接参照第2章节进行部署

4, 运行

python moss_cli_demo.py

运行到这里卡主了,暂时还没见到结果,后续补上......