目录
一、打开终端
二、模型下载
坑1：你git不下来
三、安装pytorch依赖，转换模型格式
坑2:当时是python3 quantize.py 7B，但是执行完一直出错
四、设置对话模型，给他起个名字
五、LLaMA资料补充
对于有些小可爱不会科学上网，不知道如何整个国外手机号去注册chatgpt，FaceBook发布了基于LLM的人工智能大语言模型LLaMA，本地就可以部署。
Supported platforms:
- Mac OS
- Linux
- Windows (via CMake)
- Docker
github：https://github.com/ggerganov/llama.cpp
小白操作跟紧咯，昨天踩了坑了，今天帮你们规避一下风险。
一、打开终端
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
现在ls看一下我们的文件夹里面有什么
二、模型下载
git clone https://huggingface.co/nyanko7/LLaMA-7B坑1：你git不下来
必须有解决方法， 我开始谷歌了一个方法：把https改成http，还是git不下来，点击链接，进去下载
随后在models目录建立模型子目录7B:
mkdir 7B此时 ls 看一下文件目录
你会少几个文件，是因为我跑完了才截的图，现在你目前有的文件放到他对应的位置上。
三、安装pytorch依赖，转换模型格式
# install Python dependencies
python3 -m pip install torch numpy sentencepiece# convert the 7B model to ggml FP16 format
python3 convert-pth-to-ggml.py models/7B/ 1此时的输出应该是这个样子
将模型转换成4位格式
坑2:当时是python3 quantize.py 7B，但是执行完一直出错
我咨询了chatgpt，给的方法全部都用了，但是没有什么效果。遇事不解，直接issue。
error:python3 quantize.py 7B · Issue #621 · ggerganov/llama.cpp · GitHubWhen I tried the llama model and run :python3 quantize.py 7B for operation, ``` the "quantize" script was not found in the current location appeared If you want to use it from another location, set the -- quantify script path argument fr...
https://github.com/ggerganov/llama.cpp/issues/621用了大佬给的方法解决了，他也在github里面更新了相关的操作：
# quantize the model to 4-bits (using method 2 = q4_0)
./quantize ./models/7B/ggml-model-f16.bin ./models/7B/ggml-model-q4_0.bin 2# run the inference
./main -m ./models/7B/ggml-model-q4_0.bin -n 128当运行完这个，基本已经成功了。如果你想问他问题，-p 后面加的你要问的东西，例如：
./main -m ./models/7B/ggml-model-q4_0.bin -t 8 -n 256 -p "what's your name:"
四、设置对话模型，给他起个名字
但是，我觉得这玩意真的有点呆逼啊，估计是这玩意有点不行，自己对话凑活能用
./main -m ./models/7B/ggml-model-q4_0.bin -t 8 -n 256 --repeat_penalty 1.0 --color -i -r "sxt:" \-p \
"
sxt: Hello, jj.
jj: Hello. How may I help you today?
"
五、LLaMA资料补充
Meta最新模型LLaMA细节与代码详解_常鸿宇的博客-CSDN博客
这个大哥是写的真详细，看他就完了。
