本地部署 privateGPT
- 1. 什么是 privateGPT
- 2. Github 地址
- 3. 创建虚拟环境
- 4. 部署 privateGPT
- 5. 配置 .env
- 6. 下载模型
- 7. 将文件放入 source_documents 目录中
- 8. 摄取所有数据
- 9. 向本地文档提问
1. 什么是 privateGPT
利用 GPT 的强大功能,私密地与您的文档交互,100% 保密,绝不泄露任何数据。
使用 LLMs 的能力,在没有互联网连接的情况下向您的文档提问,100%保密,您的执行环境没有任何数据离开。您可以在没有互联网连接的情况下摄取文档并提问!
使用 LangChain、GPT4All、LlamaCpp、Chroma 和 SentenceTransformers 等技术构建。
2. Github 地址
https://github.com/imartinez/privateGPT
3. 创建虚拟环境
conda create -n privategpt python==3.10.6
conda activate privategpt conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia
4. 部署 privateGPT
克隆项目,
git clone https://github.com/imartinez/privateGPT; cd privateGPT/
安装依赖,
pip install -r requirements.txt
5. 配置 .env
将 example.env 重命名为 .env 并适当编辑变量,
cp example.env .env
6. 下载模型
mkdir models
wget https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin -O ./models/ggml-gpt4all-j-v1.3-groovy.bin
7. 将文件放入 source_documents 目录中
将任何和所有文件放入 source_documents 目录中。支持的文件扩展名有:
- .csv: CSV 文件,
- .docx: Word 文件,
- .doc: Word 文件,
- .enex: EverNote 文件,
- .eml: 邮件
- .epub: EPub 文件
- .html: HTML 文件,
- .md: Markdown 文件,
- .msg: Outlook 消息,
- .odt: Open Document Text 文件,
- .pdf: 可移植文档格式(PDF)文件,
- .pptx: PowerPoint 文件,
- .ppt: PowerPoint 文件,
- .txt: 文本文件(UTF-8)
8. 摄取所有数据
运行以下命令以摄取所有数据,
python ingest.py
9. 向本地文档提问
python privateGPT.py
作为测试,我导入了一个 “kubernetes修炼手册.pdf” 文件,问了 “什么是 kubernetes deployment”,回答结果如截屏所示。个人觉得这种回答,完全不可以使用。
完结!