在前面章节中介绍了如何使用LLama_Factory微调大模型,并将微调后的模型文件合并导出,本节我们我们看下如何使用ollama进行调用。
1、llama.cpp
LLama_Factory训练好的模型,ollama不能直接使用,需要转换一下格式,我们按照ollama官网的提示使用llama.cpp来进行实现。
1.1 安装llama.cpp
下载 llama.cpp
git clone https://github.com/ggerganov/llama.cpp.gitcd llama.cpp# 安裝 Python 相依套件
pip install -r requirements.txt
1.2 格式转换
python convert_hf_to_gguf.py /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all \
> --outfile /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
- /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all :微调后合并的模型文件路径
- /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf :转换后的文件路径和名称
速度很快
2、ollama启动模型
2.1 Linux安装ollama
curl -fsSL https://ollama.com/install.sh | sh
如果服务器网络不好无法下载,可以先下载到本地再上传
下载地址:https://ollama.com/download/ollama-linux-amd64.tgz
解压安装:sudo tar -xzf ollama-linux-amd64.tgz -C /usr/local/
2.2 加载模型
要导入 GGUF 模型到 Ollama 中,您需要创建一个名为 ModelFile
的文件,并在其中包含指定的内容。以下是如何创建这个文件的步骤:
-
选择创建文件的目录
需要确定把ollama相关的配置文件放在那个目录,比如在主目录中创建一个专用目录来存放模型文件:mkdir -p ~/ollama_models/my_model cd ~/ollama_models/my_model
-
创建
ModelFile
文件
在进入目标目录后,使用以下命令创建一个名为ModelFile
的文件:touch ModelFile
-
编辑
ModelFile
文件接下来,使用您熟悉的文本编辑器(如
nano
、vi
或vim
)打开并编辑ModelFile
文件。例如,使用nano
编辑:nano ModelFile
在文件中输入以下内容,将
/path/to/file.gguf
替换为 GGUF 文件的实际路径:FROM /path/to/file.gguf
例如,我的 GGUF 文件位于
FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
,则内容应为:FROM /root/LLaMA-Factory-main/Qwen2-0.5B-Chat_all/Qwen2-0.5B-Chat_829.gguf
-
保存并关闭文件
在编辑完成后,保存文件并退出编辑器:
- 在
nano
中,按Ctrl + O
保存,按Enter
确认保存路径,然后按Ctrl + X
退出编辑器。 - 在
vi
或vim
中,按Esc
键,然后输入:wq
保存并退出。
- 在
-
使用 Ollama 导入模型
完成
ModelFile
文件的创建后,使用 Ollama 的命令来导入该模型:ollama create my-model -f /root/ollama_models/my_model/ModelFile
在上述命令中,
my-model
为模型选择的名称。
-
查看创建的模型
-
运行模型