现在已经有非常多优秀的开源大语言模型了,比如Command R+、Mistral、Qwen、MiniMax、Baichuan、Phi3等,其中Lllama3和Qwen等已经和GPT4的性能比较接近了。
如果能把这些免费的开源大模型部署到本地电脑或手机上,可以完全自由的使用,而且数据安全性有保障,可以节省大量成本。对于高手而言,还可以对这些大模型进行微调等深度定制,来满足个性化需求。
将大模型安装部署到电脑上也非常方便,简单两步即可:
第一步:下载安装Ollama软件https://ollama.com/download
安装完成后,在电脑上打开命令提示符,并输入ollama serve来启动Ollama服务:
然后输入命令:ollama pull phi3,这是来下载微软的Phi-3模型:
下载完成后,输入命令:ollama run phi3,这时候 phi3大模型就运行成功了:
但是,这样在命令行界面下对话,非常不方便。接下来安装一个图形界面,然后和大模型的对话就和ChatGPT对话一样了。
第二步:安装图形界面chatbox https://chatboxai.app/zh
点击打开chatbox,设置中AI模型提供方选择olllam
API域名是http://localhost:11434,系统已经默认填好了,模型选择刚才安装的phi3
Ok,接下来就可以畅快的和phi3模型聊天了:
Ollama支持的开源模型是非常多的,具体可以在官网进行查看:
比如如果想安装阿里巴巴的qwen大模型,可以在命令行中输入:
ollama run qwen:7b
安装llama3:
ollama run llama3
安装Llama 2 对话中文微调参数模型:
ollama run llama2-chinese