政安晨的个人主页:政安晨
欢迎 👍点赞✍评论⭐收藏
希望政安晨的博客能够对您有所裨益,如有不足之处,欢迎在评论区提出指正!
目录
启动WebUI
微调模型
LLaMA-Factory 支持通过 WebUI 零代码微调大语言模型。
启动WebUI
打开前两篇我们创建的conda虚拟环境之后,输入命令:
llamafactory-cli webui
这样就启动了LLaMA Factory的webui页面:
如果您在 Hugging Face 模型和数据集下载中遇到了问题,可以通过下述方法使用魔搭社区。
export USE_MODELSCOPE_HUB=1
Windows 使用set USE_MODELSCOPE_HUB=1
将 model_name_or_path 设置为模型 ID 来加载对应的模型。在魔搭社区查看所有可用的模型,例如 LLM-Research/Meta-Llama-3-8B-Instruct。
您也可以通过下述方法,使用魔乐社区下载数据集和模型。
export USE_OPENMIND_HUB=1
Windows 使用set USE_OPENMIND_HUB=1
将 model_name_or_path 设置为模型 ID 来加载对应的模型。在魔乐社区查看所有可用的模型,例如 TeleAI/TeleChat-7B-pt。
当然,设置了环境变量之后,重启环境,以使上面这个设置生效。
如果再下载过程中出现错误,有可能是您没有安装相应的工具:
pip install modelscope>=1.11.0
安装好工具后,再重新启动工具:
在webUI中执行加载模型:
在命令行后台中可以看到下载的状态如下:
下载完成后,可以看到加载成功:
如果本地空间出现一些问题,可以在这里修改模型路径,重新下载:
这里我把模型地址修改为:/home/tongyuzhou/aigc2/Llama-3/Llama-3.2-1B
然后重新加载(把刚刚下载的模型拷贝到这里),重新加载即可。
如果过程中出现失败,重新启动整套环境再尝试,默认路径不要修改才会自动加载,修改了之后就会从该地址加载模型了,如果该路径下没有模型就会报错。
微调模型
在这里可以微调数据:
可以选择一个数据集尝试:
预览一下:
可以直接点击这里完成训练:
本篇仅仅是个预览,接下来,我会带着大家仔仔细细地做一遍。