安装

https://github.com/Mozilla-Ocho/llamafile

下载 

大模型文件，选择列表中任意一个

wget https://huggingface.co/jartine/llava-v1.5-7B-GGUF/resolve/main/llava-v1.5-7b-q4.llamafile?download=true

https://github.com/Mozilla-Ocho/llamafile?tab=readme-ov-file#other-example-llamafiles

这里选择LLaVA 多模态的

使用

chmod +x llava-v1.5-7b-q4.llamafile 
./llava-v1.5-7b-q4.llamafile# --host xx.xx.xx.xx --port 8080

默认打开http://127.0.0.1:8080 即可开始对话