PrivateGPT(如何部署及使用感受)

在这里插入图片描述

前言

最近在GitHub上出现了一个名为PrivateGPT的开源项目。该项目旨在为面临敏感数据、涉密信息或个人隐私问题的用户提供一种新的聊天工具。PrivateGPT具备完整的数据控制能力,使用户能够在本地环境中与强大的语言模型进行交互,无需上传数据到互联网或与他人分享。令人欣喜的是,PrivateGPT是一个免费的开源项目,任何人都可以在GitHub上下载和使用它。这种开放性使更多人能够受益于PrivateGPT的强大功能,并为其改进和发展做出贡献。

目前看github上类似的项目有两个,地址如下
imartinez/privateGPT SamurAIGPT/privateGPT
两个项目用的模型均为ggml-gpt4all-j-v1.3-groovy.bin,所以理论上效果是差不多的,但是,第二个有可视化界面,是的,它竟然是有前端界面的,那作为一个合格的前端er,那必须选它


一、部署

我是在ubuntu 18.04的服务器部署的,如果大家还没有python环境的话,可以先看下我的这篇文章ChatGLM-6B (介绍相关概念、基础环境搭建及部署),里边有详细的python环境搭建过程。接下来我们就正式开始privateGPT的搭建

1.clone项目

git clone https://github.com/SamurAIGPT/privateGPT

2.安装依赖

# Go to client folder and run the below commands
npm install
npm run dev
# Go to server folder and run the below commands 
# 此步骤是有坑的,平坑步骤见第二小节
pip install -r requirements.txt
python privateGPT.py

3.查看项目

直接打开127.0.0.1:3000即可,界面如下
在这里插入图片描述

二、部署遇到的问题

1.python版本选择

尽量选择python3.8的环境,虽然README.me中写了“Requirements Python 3.8 or later“,但是在python3.10启动服务端是会报错的

2.python装包提示

......
Failed to build hnswlib llama-cpp-python
ERROR: Could not build wheels for hnswlib, llama-cpp-python, which is required to install pyproject.toml-based projects

解决方法:
将llama-cpp-python0.1.50和pyllamacpp2.3.0从requirements.txt移除,然后重新装包即可

3.执行python privateGPT.py报错

 /lib/x86_64-linux-gnu/libm.so.6: version `GLIBC_2.29' not found

解决方法:
重新装GLIBC_2.29,但是装的时候需要特别谨慎,因为这个库是linux的核心库,一步小心可能会导致系统崩溃,以下解决方法仅供大家参考

# 下载编译glibc-2.29
wget -c https://ftp.gnu.org/gnu/glibc/glibc-2.29.tar.gz
tar -zxvf glibc-2.29.tar.gz
mkdir glibc-2.29/build
cd glibc-2.29/build
../configure --prefix=/opt/glibc
# 执行此步骤可能导致类似于Makeconfig:42: *** missing separator.的错误,应该是上一步执行因部分包版本比较旧导致失败,直接apt update下那两包即可
make 
make install
# 建立软链
cp /opt/glibc/lib/libm-2.29.so /lib/x86_64-linux-gnu/
ln -sf libm-2.29.so libm.so.6
# 查看结果
strings /lib/x86_64-linux-gnu/libm.so.6 | grep GLIBC_

在这里插入图片描述

4.在局域网中无法访问前端

我是把这个项目放到了服务器,然后用我本地的电脑去链接查看,发现后端接口均无法访问。
解决方案:
把client/components/MainContainer.js和client/components
/ConfigSideNav.js文件中的http://localhost换成服务器ip即可


三、使用感受

我是将他自己的README.md进行上传,然后进行提问,开始是用中文,发现他是不支持的,服务端报错如下:
在这里插入图片描述
然后使用提问了两个引文问题

1.how to run
2.what the Requirements in the docs

问题来源于文档内容,内容如下
在这里插入图片描述

回答如下:大家可以自行感受下
在这里插入图片描述
不太确定是不是我的打开方式不对,感觉这个回答简直离谱,如果有大佬知道是什么问题,希望可以指点一下


总结

总的起来,我认为目前的PrivateGPT在回答简单的问题时表现不佳,比ChatGPT差不少。但我仍然认为PrivateGPT的概念符合现在的趋势,在不断完善后,必将能够实现质的飞跃。

欢迎各位大佬随时指正。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/7354.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

LLaMA的解读与其微调:Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙/LLaMA 2

前言 近期,除了研究ChatGPT背后的各种技术细节 不断看论文(至少100篇,100篇目录见此:ChatGPT相关技术必读论文100篇),还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调…

M1 Macbook Pro编译vim插件YouCompleteMe指南

M1 Macbook Pro编译vim插件YouCompleteMe指南(亲测有效!) 1.前言 (系统Monterey 12.6.5) 之前一直按照网上的教程,通过执行python3 install.py 加–clang-completer或–all等后缀来编译,但最后都失败了。后来发现是python的版本…

《微SaaS创富周刊》第3期:GPT-3\ChatGPT、Stable Diffusion等AI模型驱动的微SaaS创意盘点

大家新年好!第3期《微SaaS创富周刊》问世啦!本周刊面向独立开发者、早期创业团队,报道他们主要的产品形态——微SaaS如何变现的最新资讯和经验分享等。所谓微SaaS,就是“针对利基市场的SaaS”,特点是一般由个人或者小团…

chatgpt赋能python:Python如何在MacBook上打开shell窗口

Python如何在MacBook上打开shell窗口 作为一名有10年Python编程经验的工程师,我认为了解基本的命令行工具是非常重要的。在MacBook上,您可以使用终端打开shell窗口,执行Python代码并运行脚本。 这篇文章将介绍如何打开shell窗口,…

和ChatGPT-4聊完后,我觉得一切可能已经来不及了

了然无味,晴空万里!和ChatGPT-4开始了一场坦诚的沟通,它全程都表现出高情商,以及不断尽量安抚我的情绪,而这,恰恰令我脊背发凉。 部分文字截取 ZM:我能不能理解每次对话就是一次你的“生命” G&…

目录导航《100天精通Python丨快速入门到黑科技》

文章目录 一、100 天精通 Python 丨基础知识篇基础知识篇 —— 01、C 站最全 Python 标准库总结基础知识篇 —— 02、Python 和 Pycharm(语言特点、学习方法、工具安装)基础知识篇 —— 03、Pycharm 快捷操作和配置指南(磨刀不误砍柴工&#…

Autogpt手把手安装配置与使用超详细,使用云托管平台,轻量不会污染本地环境,10分钟带你完成傻瓜式超简单安装!!!

文章目录 AutoGPT简介一、安装流程fork项目注册登录gitpod.io平台开始配置 二、Auto-gpt的使用测试1.初始化使用重要参数讲解及扩展正确的使用Auto-GPT演示启动Auto-gpt 注意事项 总结 本文将采用超详细的步骤,即使小白也可以配置使用。 记录一下中间踩过的坑&#…

ChatGPT 速通手册——文本生成及概要提取,让 ChatGPT 自动总结中心大意

文本生成 文本生成任务,是大语言模型最基础的功能,自然也是 ChatGPT 的最基础功能。我们从这里开始,尝试第一个独立的 ChatGPT 对话。再强调一次:ChatGPT 生成的结果有随机性,每次运行未必一样。因此,本书…

百度版ChatGPT:文心一言发布会盛大召开!

今天下午2点,万众期待的百度版ChatGPT:文心一言发布会召开了。(图一) 投资者对这个发布会的反应非常直接:股价当场断崖式下跌。(图二) 和ChatGPT发布会上现场功能演示不同,百度发布会…

手把手教你本地CPU环境部署清华大模型ChatGLM-6B,利用量化模型,本地即可开始智能聊天,达到ChatGPT的80%

大家好,我是微学AI,今天教你们本地CPU环境部署清华大ChatGLM-6B模型,利用量化模型,每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型,拥有超过62亿个参数,可高效地处理日常对话场景。与GLM-1…

我也尝试了下chatGPT,效果惊艳

我也尝试了下chatGPT,效果惊艳,2023会是人工智能的元年。能根据上下文进行对话,能写作文改进作文、写代码改BUG、做题目改作业。 写作文 让它以熬夜为主题写篇100字的作文,开始时只是一段很普通的流水。让它继续改进&#xff0c…

ChatGPT 引领的 AI 革命爆发了,一起上车吧!

文章目录 1. AI 革命爆发了2. 回顾 AI 历史3. 什么是 ChatGPT?4. 为什么你应该学习 AI ?5. 我们该如何学习 AI5.1 第一点是你要多尝试运行代码和修改代码。5.2 第二点是你要多去体验各类 AI 的应用5.3 第三点做头脑风暴,创造有趣新产品 6. 我…

ChatGPT的“N宗罪”?|AI百态(上篇)

AI诞生伊始,那是人人欣喜若狂的科技曙光,深埋于哲学、想象和虚构中的古老的梦,终于成真,一个个肉眼可见的智能机器人,在复刻、模仿和服务着他们的造物主——人类。 但科技树的点亮,总会遇到一些经典的迷思…

chatGPT怎么用?AI提示词工程师是什么

近几个月来,人工智能(AI)热度空前,甚至催生了一个新职业——AI提示词工程师(PromptEngineer)。 这一职业最早出现在美国求职网站Indeed上,Anthropic这家AI初创公司在其招聘信息中明确提到“AI提…

生物科学大模型调研

生物大模型竞品调研 1 概念分类 大模型:大模型通常指的是参数量较大、层数较深的机器学习模型,例如深度神经网络。这些模型具有大量的可训练参数,通过在大规模数据集上进行训练,能够更好地捕捉数据中的复杂模式和特征。大模型在各…

ChatGPT鲁棒性分析:对抗鲁棒与分布外泛化视角

©作者 | 胡曦煦 单位 | 香港城市大学 研究方向 | 领域自适应,领域泛化 众所周知,最近聊天机器人 ChatGPT 吸引了所有人的注意力,一方面人们想要在国内复刻相同的成功,另一方面也有人焦虑于研究范式的转变,担忧现在…

王兴将出任王慧文创业公司董事/ 谷歌多年来故意推迟发布类ChatGPT/ 飞书回应齐俊元并未负责日本业务...今日更多新鲜事在此...

日报君 发自 凹非寺量子位 | 公众号 QbitAI 家人们早上好,今天是3月9日,疯狂星期四。 快来和日报君一起来品尝今日份的“科技早餐”吧~ 美团王兴入局中国版OpenAI创业 美团创始人王兴的一条朋友圈火了。 内容的核心爆点,归结为一句话就是——…

ChatGPT中文LLM与医疗领域相结合的开源资源汇总

文章目录 前言DoctorGLMBenTsaoBianQueHuatuoGPTMed-ChatGLMQiZhenGPTChatMedXrayGLMMeChatMedicalGPTSunsimiaoShenNong-TCM-LLMSoulChat 总结 基于开源ChatGPT大模型构建自己的知识库系统 前言 自ChatGPT为代表的大语言模型(Large Language Model, LLM&#xff0…

人工智能历史上的重要一步:ChatGPT影响到谷歌地位?

AI神器ChatGPT 火了。 能直接生成代码、会自动修复bug、在线问诊、模仿莎士比亚风格写作……各种话题都能hold住,它就是OpenAI刚刚推出的——ChatGPT。 有脑洞大开的网友甚至用它来设计游戏:先用ChatGPT生成游戏设定,再用Midjourney出图&am…

ChatGPT当医生,谁敢来问诊

基于LLM的生成式聊天工具,如ChatGPT或谷歌的MedPaLM,具有巨大的医疗潜力,但它们在医疗保健中不受管制的使用将存在固有的风险。一篇发表在《Nature Medicine》新研究讨论了当今时代最紧迫的国际问题之一:如何监管大型语言模型&…