相信很多人都看了使用colossal-AI复现Chatgpt的流程的文章，但实际上看过了，不免有人发出“说得贼明白，就是自己做不出来”的感叹吧。本人公开一下实战过程，给有兴趣复现chatgpt流程的朋友一个参考。
一、环境搭建：
1.腾讯云购买P40 GPU服务器（T4 GPU 16G跑不动哦，OOM），该服务器是24G GPU，软件环境是：ubutun18.04+torch1.9
2.使用git clone下载colossalAI的源代码，使用了https://ghproxy.com进行了加速。
git clone https://ghproxy.com/https://github.com/hpcaitech/ColossalAI3.搭建nvidia docker运行环境。
4. 使用nvidia的镜像（如：nvcr.io/nvidia/pytorch:22.05-py3），注意：hpcaitech/colossalai:0.2.5的镜像无法使用--gpus参数。
sudo docker pull nvcr.io/nvidia/pytorch:22.05-py35. 进入ColosaalAI，创建gpt容器
sudo docker run --name gpt --gpus=all --ipc=host --rm -it -v $PWD:/gpt -p 6006 -p 8888 --ulimit memlock=-1 -v /etc/localtime:/etc/localtime:ro -d nvcr.io/nvidia/pytorch:22.05-py36.进入gpt容器
sudo docker exec -it gpt /bin/bash7. 在容器的/gpt/applications/ChatGPT下，安装chatgpt及依赖，使用豆瓣加速源。
pip install . -i https://pypi.douban.com/simple二、开始训练prompt data
1.进入example目录，下载prompts.csv，可以开始运行prompts的训练了。
python train_prompts.py prompts.csv --strategy naive2.训练完成后，生成了两个模型文件，GPU占用大概9个G左右。
三、开始训练reward model
1.在宿主服务中（非docker环境）安装git-lfs，用于管理模型中的大文件。
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install2.进入到宿主服务器的ColossalAI\applications\ChatGPT\examples目录,下载bloom-560m.
git clone https://huggingface.co/bigscience/bloom-560m
这个时间比较长，要下载3个多G的模型文件，耐心等待。
3. 在gpt容器中训练reward model
python train_reward_model.py --pretrain bloom-560m四、运行benckmark
请参考ReadMe.md进行。
五、说明
其中带dummy后缀是随机生成的prompts，含prompts的则是使用了prompts.csv，微调训练使用的是gpt2模型，reward model训练使用的是bloom模型，benckmark使用的是opt模型，目前并没有完整的串联起来，可以根据自己的理解去实现一下。即先通过prompt方法使用大模型（如:gpt2/bloom/opt）去微调出一个actor model，然后使用带人类反馈的标注数据去训练一个reward model，再使用reward model去训练actor model，得到符合人类反馈评价的model。
