我正在写这方面的论文,感兴趣的可以和我一起讨论!!!!!!
Motivation
1、探测原有模型的配比: 配比 与 ppl, loss, bpw, benchmark等指标 之间的关系。
2、效果稳定的配比:配比 与 模型效果 之间的规律。
Experiments
1、主语言(什么语言作为主语言,几种主语言?双主语言是否可行?)
DATA_CONFIG_PATH=/mnt/data/pretrain/code/Megatron-LM/scripts/train_scripts/data_configs/jinglei/CT_Qwen14B_22lan.txt
我在3期数据基础上调的新配比,13种语言只占0.13。由于重要语种的更改,把图中的de换成ja,占比0.046。
2、主语言占比
单主语言:主语言占比
双主语言:双主语言占比
3、阶梯配比
阶梯配比(9种语言扩到22种语言时,如果保持9种语言的配比,则会效果很差,扩充到22种语言需要用阶梯配比)
-
第0