一、Peach-9B-8k-Roleplay简介
Peach-9B-8k-Roleplay 是一种聊天大型语言模型,它是通过我们的数据合成方法创建的超过 100K 的对话中微调 01-ai/Yi-1.5-9B 模型而获得的。
也许是 34B 以下参数最好的 LLM。
二、模型搭建流程
1. 创建容器镜像
- 进入算家云平台的“应用社区”,点击搜索或者找到"Peach-9B-8k-Roleplay",进入详情页后点击“创建应用”
- 进入“租用实例”页面之后选择模型和 3060 卡,点击创建即可创建实例
2.启动项目
- 实例创建成功之后,点击“项目实例”再点击“webssh”开启终端(小黑屏)
- 进入终端后复制以下命令输入到终端即可开始运行:
激活虚拟环境
conda activate Peach-9B-8k-Roleplay
下载模型
注意:务必切换路径,把模型下载到数据盘
cd /root/sj-tmp
git lfs install
git clone https://www.modelscope.cn/roleplay/Peach-9B-8k-Roleplay.git
切换路径
模型运行过程中还需要下载新的模型,切换到系统盘,分担数据盘的存储压力。
cd /
指定端口,运行模型
export GRADIO_SERVER_NAME=0.0.0.0
export GRADIO_SERVER_PORT=8080
python /root/sj-tmp/Peach-9B-8k-Roleplay/demo.py
3.开启外部访问
返回“项目实例”列表,选择并点击对应实例的“开放端口”按下图操作。
点击后访问的网址就已经复制到剪切板:
4.访问获取的地址,开始使用
- 将复制的访问网址复制到新网页即可开始 ui 界面的使用
输入问题,进行对话
或者根据自己需要修改参数以后,再进行对话。
自己设定提示符
以上就是在算家云搭建 Peach-9B-8k-Roleplay的流程。具体使用方式可进入算家云“应用社区”查看该模型的使用说明
点击算家云-应用社区,选择模型,一键开启 AI 之旅!