LlamaIndex的使用 | LangChain的研究 | pdfgpt安装使用

LlamaIndex在https://github.com/jerryjliu/llama_index

文档在https://gpt-index.readthedocs.io/en/latest/guides/primer/usage_pattern.html

第一个坑,python3.7安装不了库
后来使用的是python3.8.7

关于LlamaIndex读取的原理

在python版的pdfchat中,可以看到调用了LlamaIndex的接口,通过llamahub的库里的PDR读取器来读取PDF文件

PDFReader = download_loader("PDFReader")
loader = PDFReader()
documents = loader.load_data(file=Path(file))

我一开始很疑惑,在https://llamahub.ai/上面我也没看到有PDFReader这个名字,怎么这里就能成功导入,后来通过跟踪代码,发现

在这里插入图片描述

代码会先检查文件夹里面有没有library.json,这个library.json我觉着相当于是llamahub上的读取器的列表,如果没有的话,会进行get请求获取,这里就是容易出现proxy代理问题的地方

在这里插入图片描述

https://raw.githubusercontent.com/emptycrown/loader-hub/main/loader_hub/library.json打开是这样

在这里插入图片描述

这里可以理解为什么是download_loader(“PDFReader”)了

PS:如果在download_loader()时候出现问题,那么断点一步步跟进去请求然后加上代理就好,这里加上代理就完事了其实,能成功用了

# 用clash的话
proxies = {"http": "http://127.0.0.1:7890","https": "http://127.0.0.1:7890",}

在这里插入图片描述

具体位置(如果要深究一下,llamahub下载的每个加载模块放在D:\Python387\Lib\site-packages\llama_index\readers\llamahub_modules或者D:\Python387\Lib\site-packages\llama_index\readers\llamahub_modules\file里,然而每个模块对应的文件夹里面,需要成功下载requirements.txt和base.py,缺一不可,下面就是代码里进行检查并下载的位置)

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

跟了几步PDFReader会发现,这个加载器的缺陷或许在于,他并没有分章节,而是一口气把PDF里的所有内容读了出来,这样一来章节之间的内容,可能会被分割成几块建索引,这样的效果可想而知并不理想

https://juejin.cn/post/7206950454097690680这样的操作才是更正确的

在这里插入图片描述



项目来源https://juejin.cn/post/7206950454097690680

先把项目clone下来了,在项目当前目录运行npm install,chu

出报错,查了一下资料问了一下chatgpt觉得应该是nodejieba的安装问题,会涉及系统内使用的编译器等等一些问题,比较不好解决,于是采取使用另一个jieba分词的库来替代参考https://zhuanlan.zhihu.com/p/453803476

于是先把package.json中的"nodejieba": “^2.6.0”,去掉再运行npm install,然后再运行

都安装好之后把项目里的jieba库换成新安装的库,全局搜索

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/12747.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

chatgpt赋能python:Python如何进行断点运行

Python 如何进行断点运行 什么是断点运行 在Python中,断点运行是一种非常有用的调试技术。当代码运行时,程序会在代码中设置的断点处暂停,以便开发者可以检查代码的状态和行为。这种方法可以大大减少调试代码所需的时间和精力。 如何设置断…

chatgpt赋能python:Python取消断点的方法

Python取消断点的方法 在Python开发过程中,我们经常需要设置断点来帮助我们调试代码。但是,有时候我们可能需要取消已设置的断点。本文将介绍如何取消Python中的断点。 1. 什么是断点 在Python中,断点是为了帮助调试代码而设置的一个标志。…

chatgpt赋能Python-pycharm取消所有断点

Pycharm取消所有断点:提高编程效率的必备技巧 Pycharm作为Python程序员必备的开发工具之一,其强大的调试功能广受好评。但是,在开发过程中,我们可能会设置过多的断点或者设置了错误的断点,这样会让程序的运行速度变慢…

chatgpt赋能python:Python如何加断点

Python如何加断点 什么是断点 在程序执行时,开发人员可以设置断点,使得程序在断点处暂停执行,从而方便调试程序。当程序停在断点处时,可以查看变量的值、执行语句等,以找出程序中的错误。 Python加断点的方法 在Py…

pycharm断点调试

1.添加断点 2.调试段点 3. PyCharm断点调试_软件测试开发区的博客-CSDN博客PyCharm断点调试https://blog.csdn.net/cunrran/article/details/126975770?ops_request_misc%257B%2522request%255Fid%2522%253A%2522168316415916782425186748%2522%252C%2522scm%2522%253A%252220…

chatgpt赋能python:Python命令行——如何删除断点

Python命令行——如何删除断点 Python是一门广泛应用于各种编程任务的高级编程语言,它具有易学易用、高效灵活等特点,在开发中广受欢迎,而命令行工具更是其重要组成部分。在python的命令行模式中,调试程序时我们经常使用断点进行…

教唆chat ai 吵架--chatGPT和chatBing体验

教唆chat ai 吵架–chatGPT和chatBing体验 请注意,本文主观性非常高,只是一个参考性文章,无任何其他含义。 当我们谈到人工智能对话模型时,ChatGPT和ChatBing是两个备受关注的模型。它们都是自然语言处理领域中的重要里程碑&…

媲美ChatGPT4的免费工具来了!傻瓜式教程不用魔法也能使用!

嗨呀 又是元气满满的一周啦 废话不多说直接进入正题,仅在注册时可能需要使用一些科学方法,使用完全无限制 优势 对中文的支持非常强大 无需魔法上网 不受限制 免费!!! 实测优于ChatGPT3.5,略逊于4.0&…

因ChatGPT爆红的NLP培养计划|拿不到年薪25W全额退款

“ChatGPT可怕的是,它会将世界的命运重新洗牌” 人类已经历3次超级工具的“革命”,每一次都重塑了世界新的格局。 第一个降临的超级工具就是互联网,它用虚拟的聚合,打开了现实的距离,将地球压缩成村落。极大程度的模糊…

如虎添翼,将ChatGPT和Python结合起来

如何将 ChatGPT 添加到您的编程工具包 微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩 什么是ChatGPT ChatGPT 是一个开源的对话式人工智能 (AI) 平台,可让开发人员更轻松地将自然语言处理 (NLP) 功能引入他们的项目。借助 Cha…

ChatGPT和Bard太贵,介绍8个免费开源的大模型解决方案!

8个开源的ChatGPT和Bard的替代方案,带你发现更多广泛使用的开源框架和模型。 微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩 1.LLaMA LLaMA项目包含了一组基础语言模型,其规模从70亿到650亿个参数不等。这些模型在数…

ChatGPT的背后原理:大模型、注意力机制、强化学习

介绍ChatGPT机器人背后的原理,带你了解ChatGPT如何工作。 微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩 本文主要介绍为ChatGPT提供动力的机器学习模型,将从大型语言模型的介绍开始,深入探讨使GPT-3得到…

chatgpt赋能python:Python量化哪本书好?——入门必读书单

Python量化哪本书好?——入门必读书单 随着人工智能和大数据时代的来临,量化投资成为了当前金融行业的热门话题。Python作为一种功能强大且易于学习和使用的编程语言,因其丰富的库和工具也被越来越多的投资者和研究人员所采用。而在掌握Pyth…

UX和UI设计的终极ChatGPT宝典

UX UI 设计师的终极 ChatGPT 备忘单。 微信搜索关注《Java学研大本营》,加入读者群,分享更多精彩 人工智能不会取代设计师,但使用人工智能的设计师会取代不使用人工智能的设计师。 类似于计算器曾经被认为会取代数学家,许多人担心…

《流畅的Python》第二版上市了,值得入手么?

《Fluent Python》第一版在 2015 年出版,简体中文版《流畅的Python》在 2017 年出版。从那时起,它就成为了所有 Python 程序员的必读之书。如果一份面向中高级 Python 开发者的书单里不包含这本书,那这份书单肯定不合格! 《Fluen…

Google Bard 对战 ChatGPT4

话题之一:如何降低血压 我家老爷子血压有点高,所以我挑了这么个话题。 如果用中文来问 Bard, 有点欺负它,那么索性用英文 1. Bard 在速度上占有绝对优势 2. GPT4 在最后一条监测就医建议上,完胜。 很多老人得过且过,不…

ChatGPT是如何运行起来的?(上)

在这篇文章中,我们将解释ChatGPT是如何工作的,以及为什么它能够产生连贯和多样化的对话。 微信搜索关注《Java学研大本营》 1 每次增加一个词 ChatGPT能够自动生成一些看起来像人类写的文字,这很了不起并且出乎意料。但ChatGPT是如何做到的呢…

ChatGPT 算是“颠覆式创新”吗?

与其说是单纯的技术突破或更新换代,不如说是技术与场景的完美结合造就了ChatGPT现象级的成功。 2018年,梁宁老师在得到分享了她在产品方面的思考,在《产品思维30讲》里提到了“颠覆式创新”概念。 她说颠覆式创新最重要的标准就是&#xff0c…

ChatGPT插件使用攻略,解锁互联网新体验

ChatGPT插件系统的功能如此强大,以及如何创建自己的插件。 微信搜索关注《Python学研大本营》,加入读者群,分享更多精彩 最近,OpenAI发布了ChatGPT的新功能:插件系统。ChatGPT现在可以进行功能扩展并执行新的任务&…

由文心一言发布会引发的思考,聊聊我未来的学习规划

文章目录 前言一. 文心一言的试用1.1 文心一言发布会1.2 文心一言图片生成功能试用1.3 文心一言文本功能试用1.4 文心一言代码功能试用1.5 试用总结 二. 我未来的学习规划2.1 向csdn的大佬请教2.2 关于AIGC的思考2.3 我未来的学习方向和计划 总结 前言 大家好,我是…