LLMs：MindFormers的简介、安装和使用方法、案例应用

目录

MindFormers的简介

1、MindFormers的特点

2、支持模型：LLaMA3.1、GLM4、Qwen2、InternLM2、DeepSeekV2、Baichuan2

MindFormers的安装和使用方法

1、安装

版本匹配关系

兼容性说明

源码编译安装

2、使用方法

T1、单机多卡：默认8卡启动、仅设置使用卡数、自定义启动

使用示例

T2、多机多卡

使用示例

T3、单卡启动

MindFormers的案例应用

---

MindFormers的简介

2024年1月发布，MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。

Gitee地址：mindformers: MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件： 提供业内主流的Transformer类预训练模型， 涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练。文档：https://mindformers.readthedocs.io/zh-cn/latest/

1、MindFormers的特点

MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计，具备如下特点：

• 一行代码实现从单卡到大规模集群训练的无缝切换；
• 提供灵活易用的个性化并行配置；
• 能够自动进行拓扑感知，高效地融合数据并行和模型并行策略；
• 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程；
• 支持用户进行组件化配置任意模块，如优化器、学习策略、网络组装等；
• 提供Trainer、pipeline、AutoClass等高阶易用性接口；
• 提供预置SOTA权重自动下载及加载功能；
• 支持人工智能计算中心无缝迁移部署；

2、支持模型：LLaMA3.1、GLM4、Qwen2、InternLM2、DeepSeekV2、Baichuan2

MindFormers已支持大部分模型的LoRA微调以及LoRA权重合并功能，具体可参考各模型文档启动模型的LoRA微调任务。

当前MindFormers支持的模型列表如下：

模型	参数	序列	预训练	微调	推理	LoRA	对话	评估
LLaMA2	7B	4K	✓	✓	generate	✓	✓	PPL
	13B	4K	✓	✓	generate	✓	✓	PPL
	70B	4K	✓	✓	generate	✓	✓	PPL
LLaMA3	8B	8K	-	✓	generate	-	✓	-
	70B	8K	✓	✓	generate	-	✓	-
LLaMA3.1	8B	8K	-	✓	docs	-	✓	-
	70B	8K	-	✓	docs	-	✓	-
Baichuan2	7B	4K	-	✓	generate	✓	✓	PPL
	13B	4K	-	✓	generate	✓	✓	PPL
GLM2	6B	2K	-	✓	generate	✓	✓	PPL / Rouge
GLM3	6B	2K	-	✓	generate	-	✓	-
GLM3-32K	6B	32K	-	✓	generate	-	✓	-
GLM4	9B	8K	-	✓	generate	-	✓	-
CogVLM2-Video	13B	2K	-	✓	docs	✓	-	-
CogVLM2-Image	19B	4K	-	-	docs	-	-	-
Qwen	7B	8K	-	✓	docs	✓	✓	C-Eval
	14B	8K	-	✓	docs	✓	✓	C-Eval
Qwen1.5	0.5B	8K	-	-	docs	-	✓	-
	1.8B	8K	-	-	docs	-	✓	-
	4B	8K	-	-	docs	-	✓	-
	7B	32K	✓	✓	docs	-	✓	-
	14B	32K	✓	✓	docs	-	✓	-
	32B	8K	-	-	docs	-	✓	-
	72B	32K	✓	✓	docs	-	✓	-
Qwen2	0.5B	32K	-	✓	docs	-	✓	-
	1.5B	32K	-	✓	docs	-	✓	-
	7B	32K	-	✓	docs	-	✓	-
	57B-A14B	8K	-	-	docs	-	✓	-
	57B	32K	✓	✓	docs	-	✓	-
	72B	128K	-	✓	docs	-	✓	-
QwenVL	9.6B	2K	-	✓	generate	-	✓	-
InternLM	7B	2K	-	✓	generate	✓	✓	PPL
	20B	2K	-	✓	generate	✓	✓	PPL
InternLM2	7B	2K	-	✓	generate	-	✓	-
	20B	4K	-	-	generate	-	✓	-
Yi	6B	2K	-	✓	generate	✓	✓	-
	34B	4K	✓	✓	generate	✓	✓	-
Mixtral	8x7B	32K	✓	✓	docs	✓	✓	-
DeepSeek Coder	33B	4K	-	✓	docs	✓	✓	-
DeepSeek Coder1.5	7B	4K	-	✓	docs	-	-	-
DeepSeekV2	236B	4K	✓	✓	docs	-	-	-
CodeLlama	34B	4K	✓	✓	generate	✓	✓	HumanEval
GPT2	13B	2K	✓	✓	generate	✓	✓	PPL
Whisper	1.5B	-	-	✓	-	-	-	-

MindFormers的安装和使用方法

1、安装

版本匹配关系

当前支持的硬件为Atlas 800T A2训练服务器。

当前套件建议使用的Python版本为3.10。

MindFormers	MindPet	MindSpore	CANN	驱动固件	镜像链接	备注
1.3.0	1.0.4	2.4.0	-	driver	-	版本分支

当前MindFormers建议使用如上的软件配套关系。其中CANN和固件驱动的安装需与使用的机器匹配，请注意识别机器型号，选择对应架构的版本。

兼容性说明

MindFormers与MindSpore有如下兼容关系：

MindFormers	MindSpore	兼容性
1.3.0	2.3	√
1.2.0	2.4	√

源码编译安装

MindFormers目前支持源码编译安装，用户可以执行如下命令进行安装。

git clone -b r1.3.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh

2、使用方法

MindFormers支持模型启动预训练、微调、推理、评测等功能，可点击支持模型中模型名称查看文档完成上述任务，以下为模型分布式启动方式的说明与示例。

MindFormers推荐使用分布式方式拉起模型训练、推理等功能，目前提供scripts/msrun_launcher.sh分布式启动脚本作为模型的主要启动方式，msrun特性说明可以参考msrun启动。 该脚本主要输入参数说明如下：

参数	单机是否必选	多机是否必选	默认值	说明
WORKER_NUM	✓	✓	8	所有节点中使用计算卡的总数
LOCAL_WORKER	-	✓	8	当前节点中使用计算卡的数量
MASTER_ADDR	-	✓	127.0.0.1	指定分布式启动主节点的ip
MASTER_PORT	-	✓	8118	指定分布式启动绑定的端口号
NODE_RANK	-	✓	0	指定当前节点的rank id
LOG_DIR	-	✓	output/msrun_log	日志输出路径，若不存在则递归创建
JOIN	-	✓	False	是否等待所有分布式进程退出
CLUSTER_TIME_OUT	-	✓	7200	分布式启动的等待时间，单位为秒

注：如果需要指定device_id启动，可以设置环境变量ASCEND_RT_VISIBLE_DEVICES，如要配置使用2、3卡则输入export ASCEND_RT_VISIBLE_DEVICES=2,3。

T1、单机多卡：默认8卡启动、仅设置使用卡数、自定义启动

# 1. 单机多卡快速启动方式，默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}"# 2. 单机多卡快速启动方式，仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}" WORKER_NUM# 3. 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}" \WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT

使用示例

# 单机多卡快速启动方式，默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \--config path/to/xxx.yaml \--run_mode finetune"# 单机多卡快速启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \--config path/to/xxx.yaml \--run_mode finetune" 8# 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \--config path/to/xxx.yaml \--run_mode finetune" \8 8118 output/msrun_log False 300

T2、多机多卡

多机多卡执行脚本进行分布式训练需要分别在不同节点运行脚本，并将参数MASTER_ADDR设置为主节点的ip地址， 所有节点设置的ip地址相同，不同节点之间仅参数NODE_RANK不同。

# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}" \WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT

使用示例

# 节点0，节点ip为192.168.1.1，作为主节点，总共8卡且每个节点4卡
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}" \8 4 192.168.1.1 8118 0 output/msrun_log False 300# 节点1，节点ip为192.168.1.2，节点0与节点1启动命令仅参数NODE_RANK不同
bash scripts/msrun_launcher.sh "run_mindformer.py \--config {CONFIG_PATH} \--run_mode {train/finetune/eval/predict}" \8 4 192.168.1.1 8118 1 output/msrun_log False 300

T3、单卡启动

MindFormers提供run_mindformer.py脚本作为单卡启动方法，该脚本可以根据模型配置文件，完成支持模型的单卡训练、微调、评估、推理流程。

# 运行run_mindformer.py的入参会覆盖模型配置文件中的参数
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}

MindFormers的案例应用

持续更新中……