本地部署 privateGPT

本地部署 privateGPT

  • 1. 什么是 privateGPT
  • 2. Github 地址
  • 3. 创建虚拟环境
  • 4. 部署 privateGPT
  • 5. 配置 .env
  • 6. 下载模型
  • 7. 将文件放入 source_documents 目录中
  • 8. 摄取所有数据
  • 9. 向本地文档提问

1. 什么是 privateGPT

利用 GPT 的强大功能,私密地与您的文档交互,100% 保密,绝不泄露任何数据。

使用 LLMs 的能力,在没有互联网连接的情况下向您的文档提问,100%保密,您的执行环境没有任何数据离开。您可以在没有互联网连接的情况下摄取文档并提问!

使用 LangChain、GPT4All、LlamaCpp、Chroma 和 SentenceTransformers 等技术构建。

2. Github 地址

https://github.com/imartinez/privateGPT

3. 创建虚拟环境

conda create -n privategpt python==3.10.6
conda activate privategpt conda install pytorch torchvision torchaudio pytorch-cuda=11.8 -c pytorch -c nvidia

4. 部署 privateGPT

克隆项目,

git clone https://github.com/imartinez/privateGPT; cd privateGPT/

安装依赖,

pip install -r requirements.txt

5. 配置 .env

将 example.env 重命名为 .env 并适当编辑变量,

cp example.env .env

6. 下载模型

mkdir models
wget https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin -O ./models/ggml-gpt4all-j-v1.3-groovy.bin

7. 将文件放入 source_documents 目录中

将任何和所有文件放入 source_documents 目录中。支持的文件扩展名有:

  • .csv: CSV 文件,
  • .docx: Word 文件,
  • .doc: Word 文件,
  • .enex: EverNote 文件,
  • .eml: 邮件
  • .epub: EPub 文件
  • .html: HTML 文件,
  • .md: Markdown 文件,
  • .msg: Outlook 消息,
  • .odt: Open Document Text 文件,
  • .pdf: 可移植文档格式(PDF)文件,
  • .pptx: PowerPoint 文件,
  • .ppt: PowerPoint 文件,
  • .txt: 文本文件(UTF-8)

8. 摄取所有数据

运行以下命令以摄取所有数据,

python ingest.py

9. 向本地文档提问

python privateGPT.py

作为测试,我导入了一个 “kubernetes修炼手册.pdf” 文件,问了 “什么是 kubernetes deployment”,回答结果如截屏所示。个人觉得这种回答,完全不可以使用。

在这里插入图片描述

完结!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/51830.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LiteFlow v2.10.6 发布!一款社区驱动型优秀的规则引擎框架

LiteFlow 介绍 LiteFlow 是一个开源编排式规则引擎,能够让你的系统逻辑任意编排,可选用脚本书写逻辑,支持多达 6 种脚本语言,支持丰富的第三方存储的支持,所有的逻辑和规则均可热变更。设计系统和重构系统的神器。 L…

chatgpt赋能python:Python自定义colormap集锦

Python自定义colormap集锦 Python是一种高级编程语言,其应用广泛。其中,数据可视化是Python一大优势。通过可视化,我们可以让数据变得更加清晰、易懂。而colormap即色图,是数据可视化中不可或缺的一个元素。在Python中&#xff0…

一个学生关于鸿蒙系统的一些看法

简单谈谈鸿蒙系统,写于20年9月20日 在这里插入图片描述 离华为开发者大会过去一周了,我这两天也问了一下鸿蒙开发群的一些大牛,先行者,对于harmony os,听到了很多种声音,作为一个抱有学习态度的小白&#x…

海外用户用不了鸿蒙系统,海外用不了!鸿蒙系统成国内专用,华为如何才能战胜谷歌安卓...

说起鸿蒙系统,相比不少人都听说过,这是华为摆脱安卓限制的一大步。但是随着鸿蒙系统发布时间越来越近,一些关于鸿蒙的问题也开始逐渐的展露了出来。最近有数码博主声称,鸿蒙系统由于不能搭载谷歌GMS框架,也许走不出国内…

华为鸿蒙比较乐视电视系统,华为彻底告别安卓!三亿台设备将使用鸿蒙系统,但实际远远不够...

此前华为已经宣布将在四月正式开始在自家手机上推送鸿蒙系统,一些即将推出的华为产品也会直接搭载原生的鸿蒙系统,比如MatePad Pro2平板电脑以及P50系列手机。基本上,我们可以确定这个时间点是在华为四月开发者大会前后,这就意味着…

鸿蒙真能兼容所有安卓应用,鸿蒙系统真要来了!已能全面兼容安卓应用:并且还有57万多APP支持...

【4月9日讯】相信大家都知道,只要一提起华为消费者终端业务CEO余承东,确实也是让很多人对他非常敬佩,直接将华为手机从不知名厂商彻底变成了现在全球第二大智能手机厂商,但也因为余承东太爱吹牛了,所以也被誉为“大嘴”…

鸿蒙系统 支持软件,鸿蒙系统上线在即 你最希望哪些软件能够支持呢

华为的鸿蒙系统,被爆商标已经注册。看来,距离鸿蒙系统的上市也不远了。有些小伙伴在问我:希望看到哪些APP可以直接使用? 在回答这条问题之前,我们先来看看“鸿蒙”是什么。鸿蒙是华为开发的一套操作系统,也打破了手机…

如果微软狠心鸿蒙系统,微软强制用户升级华为鸿蒙系统出来你会放弃windows使用鸿蒙吗...

在手机操作系统上,用户最喜欢使用安卓系统和IOS系统,但在PC系统上,用户最喜欢的还是Windows系统。 虽然谷歌和苹果也有自家的PC系统,但苹果和谷歌的桌面系统,相对于微软的windows系统而言,其市场份额几乎可…

鸿蒙OS无法安装APP,假如鸿蒙系统不能下载第三方APP,iPhone用户会路转粉吗

说起手机系统,诺基亚的塞班系统大家都应该记得,在曾经那个年代他就是众手机品牌中鹤立鸡群的大哥,是吊打一切的王者,满大街传单上都是他的身影!直到有一天身边的安卓系统手机和IOS苹果手机越来越多,诺基亚和…

鸿蒙会和安卓一样吃内存吗,鸿蒙系统到底能不能替代安卓?

对于大部分差友们来说,“开发者大会”这个词一定显得陌生而又遥远,跟普通的产品发布会不一样,他们面向的对象并不是普通的消费者,而是各种程序猿和攻城狮。 话又说回来,能开“ 开发者大会”,也说明这个企业…

小米能安装鸿蒙吗,小米等友商手机可以使用鸿蒙系统吗?华为官方表态给力了...

虽然在手机方面持续落寞,但是华为近期却在软件系统上动作频频,在前不久的华为MateX2发布会上,华为官方就正式宣布即将开启旗下多款手机从安卓系统升级到鸿蒙系统的决定,而MateX2也将成为首款搭载鸿蒙系统的华为手机。而目前首批升…

华为平板能安装linux软件吗,华为鸿蒙OS能安装在我们的电脑、笔记本、平板和手机上吗...

有很多人可能都想问:华为鸿蒙OS(操作系统)能否安装在我们的电脑、笔记本、平板和手机设备上?其实答案很简单,由于华为鸿蒙OS是基于Linux内核的且兼容Android应用,如果你的设备能够安装Linux或者是Android,那么安装华为…

如何安装鸿蒙应用,华为鸿蒙OS系统手机怎么安装第三方的应用程序?

最近,随着越来越多小伙伴在使用鸿蒙的过程中遇到了越来越多的问题。比如有的小伙伴说自己的华为手机升级鸿蒙系统之后,就没有办法安装一些第三方的应用程序了,这要怎么解决呢?其实,这是鸿蒙系统的一个特性,…

三星手机能支持鸿蒙系统吗,鸿蒙系统可以在哪些手机上使用

鸿蒙系统于12.16发布,同时也开启了测试招募,很多小伙伴们也都想第一时间去尝试这个全新的手机系统,但是由于目前鸿蒙系统刚刚发布,所以还不支持大面积的升级,很多人问鸿蒙系统可以在哪些手机上使用?下面就让…

鸿蒙系统怎么没有微信界面,如果没有微信,使用鸿蒙系统的华为会怎么样?

原标题:如果没有微信,使用鸿蒙系统的华为会怎么样? 我觉得没有微信华为的鸿蒙系统一样可以快速发展起来,并不会因为缺了微信而失败。 目前华为方舟编译器已经有45款应用得到了支持,这些应用都是最常见的,不…

鸿蒙OS可以装电脑吗,华为的鸿蒙系统可以用在电脑上吗?

根据官方描述:“华为的鸿蒙OS是基于微内核、面向全场景的分布式操作系统”。既然是面向全场景,当然也包括了电脑,不过按照个人理解,并不是我们现在所用的电脑,而是基于国产的创新型电脑,这一点华为余承东在…

非华为手机可以刷鸿蒙系统吗,非华为手机用户,你愿意尝试鸿蒙系统吗?

现阶段这玩意是不是安卓大家心里都有数,但问题是这东西看着确实好看。就算是安卓又如何,即使是安卓这个系统看起来也非常有吸引力,emui级别的稳定和miui级别的外观设计,谁不想要呢? 在开发者版本出来之后,内…

解决fatal: unable to access ‘https://github.com/xxx/xxx.git/‘: Failed to connect to github.com port 4

问题的表现 🚨fatal: unable to access ‘https://github.com/xxx.git/’: Failed to connect to github.com port 4 解决方法(2步 ) 输入git config --global --unset http.proxy输入git config --global --unset https.proxy如下图圈红所…

已解决:fatal: unable to access ‘https://github.com/.......‘: OpenSSL SSL_read: Connection was reset,

昨天还可以git push代码到远程仓库,今天使用hexo d上传git仓库是时报了这个错:fatal: unable to access ‘https://github.com/…’: OpenSSL SSL_read: Connection was reset, errno 10054 产生原因:一般是这是因为服务器的SSL证书没有经过…

git push 报错:fatal: unable to access ‘https://github.com/...‘......

问题: 在用git push 提交代码到 github 的时候,遇到了如下报错: fatal: unable to access ‘https://github.com/…/’: OpenSSL SSL_read: Connection was reset, errno 10054 原因: 查询得知一般是因为服务器的SSL证书没有经…