go 语言爬虫库goquery介绍

文章目录

  • 爬虫介绍
  • goquery介绍
  • 利用NewDocumentFromReader方法获取主页信息
  • Document介绍
  • 通过查询获取文章信息
    • css选择器介绍
    • goquery中的选择器
    • 获取主页中的文章链接
  • 爬取
  • 总结

爬虫介绍

爬虫，又称网页抓取、网络蜘蛛或网络爬虫，是一种自动浏览互联网并从网站上获取信息的程序或脚本。它通过模拟人类浏览器的行为，按照预设的规则和策略遍历互联网上的网页，并将所获取的数据存储下来进行进一步处理和分析。
爬虫在我们生活中可以产生的东西有很多

  1. 搜索引擎索引构建：搜索引擎会使用爬虫抓取互联网上的网页，分析其内容并建立索引，以便用户在搜索时能够快速找到相关结果。

  2. 数据分析与研究：数据分析师和研究人员可以编写爬虫来收集特定领域的信息，如电子商务网站的商品价格、评论等，用于市场趋势分析、竞品监测、消费者行为研究等。

  3. 新闻聚合：新闻聚合类应用通过爬虫从多个新闻网站获取最新的文章标题、摘要以及链接，为用户提供一站式的新闻阅读体验。

  4. 社交媒体监控：针对社交媒体平台的爬虫可以抓取公开的帖子、评论等内容，用于舆情分析、热点话题追踪、品牌口碑监测等。

  5. 企业信息抓取：商业情报机构或公司可能需要抓取工商注册、专利申请、招聘信息等公开的企业数据，进行行业分析、潜在客户挖掘等工作。

  6. 教育资源整理：教育领域中，爬虫可以用来搜集网络课程资源、学术论文、图书资料等，并进行整理归类。

  7. 网站性能检测：某些类型的爬虫（例如蜘蛛侠）用于模拟大量用户访问以测试网站性能，检查是否存在服务器响应延迟、页面加载慢等问题。

  8. 法律合规审计：在网络合规性审查中，爬虫可以用于查找非法或侵权内容，协助监管部门进行网络环境净化。

在生活中爬虫其实可以做很多事情，鉴于本文是一个入门教程，就接下来会以一个爬取csdn网页增加流量的列子逐步介绍和完善我们的爬虫程序。

goquery介绍

GoQuery是专为Go（Golang）语言设计的一个强大的HTML解析和查询库。它模仿了jQuery的API风格，使得在Go中处理HTML文档变得简单且直观。

GoQuery主要用于网页抓取（Web Scraping），能够通过CSS选择器来定位、遍历和操作HTML元素。你可以使用它来提取网页中的特定数据、修改DOM结构或进行其他与HTML文档相关的操作。

利用NewDocumentFromReader方法获取主页信息

NewDocumentFromReader 是GoQuery库中的一个函数，用于从io.Reader接口读取的HTML数据创建一个新的文档对象。对于文档对象是什么我们会在下文经性讲解。
func NewDocumentFromReader(reader io.Reader) (*Document, error)

以下我们查找主页信息的代码,studycodeday是博主本人的主页，想要访问自己的主页，只需要把studycodeday改成自己的用户id就行。

func main() {// 通过http发送get请求req, err := http.Get("https://blog.csdn.net/studycodeday")if err != nil {slog.Error("访问主页失败")}defer req.Body.Close()// 解析请求体doc, err := goquery.NewDocumentFromReader(req.Body)// 让请求体按照html格式输出，也有Text()按照文本输出的方法fmt.Println(doc.Html())
}

效果
在这里插入图片描述

Document介绍

在GoQuery库中，Document是代表整个HTML文档的对象。它是对原始HTML内容解析后形成的DOM树的抽象表示，提供了与jQuery类似的接口来操作和查询HTML元素。

*goquery.Document主要有以下特点和功能：

  1. 初始化：
    从本地文件或io.Reader读取：使用goquery.NewDocumentFromReader(reader io.Reader)从任何实现了io.Reader接口的对象（如文件、HTTP响应体等）创建一个Document对象。
  2. 查找元素：
    使用CSS选择器进行查找：doc.Find(selector string)返回一个新的Selection对象，该对象包含了所有匹配给定CSS选择器的元素。
  3. 遍历和操作元素：
    Each(func(int, *goquery.Selection))方法用于迭代选区中的每个元素，并对其执行回调函数。
    提供了类似jQuery的方法，如.Children()获取子元素、.Parents()获取父元素等。
  4. 属性操作：
    Attr(name string) (string, bool)：获取首个匹配元素的指定属性值及其是否存在。
    SetAttr(name, value string)：为所有匹配元素设置指定属性的值。
  5. 文本和HTML内容操作：
    Text() string：获取所有匹配元素的合并文本内容。
    Html() string：获取首个匹配元素的HTML内容。
    其他功能：

goquery.Document对象是GoQuery库的核心组成部分，它封装了对HTML文档进行各种复杂查询和操作的能力。

通过查询获取文章信息

css选择器介绍

获取文章需要我们通过查询的方式，goquery提供了能够通过CSS选择器来定位元素。
其类型包括但不限于以下几种：

  1. 基本选择器：
  • *：匹配所有元素。
  • element：匹配所有指定类型的元素，如 div、span 等。
  • .class：匹配具有指定类名的元素，如 .myClass。
  • #id：匹配ID为指定值的元素，如 #header。
  1. 属性选择器：
  • [attribute]：匹配具有指定属性的元素，不论该属性值为何。
  • [attribute=value]：匹配属性值等于指定值的元素，如 [href=“http://example.com”]。
  • [attribute^=value]、[attribute$=value]、[attribute*=value]：分别匹配属性值以指定值开头、结尾或包含指定值的元素。
  1. 层次选择器：
  • parent > child：匹配作为指定父元素直接子元素的所有child元素。
  • ancestor descendant：匹配在ancestor元素内的所有descendant元素（无论嵌套多深）。
  • prev + next：匹配紧跟在prev元素之后的next元素。
  • prev ~ siblings：匹配prev元素之后的所有同辈siblings元素。
  1. 伪类选择器：
  • :first-child、:last-child、:nth-child(n)：匹配某个元素在其父元素内是第一个、最后一个或第n个子元素的情况。
  • :not(selector)：排除匹配给定选择器的元素。

goquery中的选择器

Find()：
doc.Find(selector string)
根据给定的CSS选择器在当前选区（Selection）中查找匹配的元素。例如，doc.Find(“h1”)会找到所有

标签。

Filter()：

selection.Filter(selector string)
在当前选区中过滤出符合指定CSS选择器的元素子集。

Eq()：

selection.Eq(index int)
返回当前选区中索引为index的单个元素。索引从0开始。

First() 和 Last()：
selection.First()
selection.Last()
分别返回当前选区中的第一个或最后一个元素。

Next() 和 Prev()：
selection.NextAll()
selection.PrevAll()
获取当前元素之后的所有同辈元素或之前的所有同辈元素。

Children()：

selection.Children()
获取当前选区中所有直接子元素。

Parents() 和 Closest()：
selection.Parents()
selection.Closest(selector string)
Parents()返回当前选区中所有父级元素，而Closest()返回最近的且匹配给定CSS选择器的祖先元素。

Attr()：
attr, exists := selection.Attr(attributeName string)
获取当前选区中首个元素的属性值，exists用于判断该属性是否存在。

Each()：
selection.Each(func(i int, s *goquery.Selection) {})
遍历当前选区中的每一个元素，并对每个元素执行一个函数。

获取主页中的文章链接

首先我们要打开f12调试工具，找到我们需要爬取数据的所在的具体位置。
在这里插入图片描述
由上图可知我们的文章连接在拥有class=“mainContent” 的div盒子里，这个盒子包括了二十个含有 class=“blog-list-box” 的article标签，我们所需要的内容就在article标签下面的a标签的herf中。
这里我们采用层次原则器 ancestor descendant：匹配在ancestor元素内的所有descendant元素（无论嵌套多深）。把文章盒子提取来之后我们还需要通过Each方法遍历输出a标签中的href属性的值

	// 通过http发送get请求req, err := http.Get("https://blog.csdn.net/studycodeday")if err != nil {slog.Error("访问主页失败")}defer req.Body.Close()// 解析请求体doc, err := goquery.NewDocumentFromReader(req.Body)//fmt.Println(doc.Find(".mainContent .blog-list-box").Length())doc.Find(".mainContent .blog-list-box").Each(func(i int, s *goquery.Selection) {fmt.Println(s.Find("a").Attr("href"))})

效果
在这里插入图片描述

爬取

以上我们就完成了主页文章信息的爬取，我们只需要吧内容存在数组中，经行爬取访问即可。
代码

func main() {var urls = make([]string, 0, 20)// 通过http发送get请求req, err := http.Get("https://blog.csdn.net/studycodeday")if err != nil {slog.Error("访问主页失败")}defer req.Body.Close()// 解析请求体doc, err := goquery.NewDocumentFromReader(req.Body)//fmt.Println(doc.Find(".mainContent .blog-list-box").Length())doc.Find(".mainContent .blog-list-box").Each(func(i int, s *goquery.Selection) {url, _ := s.Find("a").Attr("href")//添加到数组中urls = append(urls, url)})for _, url := range urls {_, err = http.Get(url)if err != nil {slog.Error("访问网页失败：" + url)}fmt.Println("访问成功：" + url)time.Sleep(time.Duration(rand.Int31n(60)) * time.Second)}
}

效果
在这里插入图片描述

总结

虽然我们实现了爬取csdn网页，但是仍然存在许多问题：

  1. 没有代理频繁访问容易封ip，造成无法访问csdn
  2. 爬取只能爬取前二十篇文章，该解决方法是参考该api，只需要把username改成自己的id即可https://blog.csdn.net/community/home-api/v1/get-business-list?page=2&size=20&businessType=lately&noMore=false&username=studycodeday"
  3. 没有进行请求伪装，随时可能被封

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/256278.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

《直到黎明》中的人物性格——萨曼莎·戈登

《直到黎明》中的人物性格——萨曼莎·戈登

在Supermassive Games开发的交互式恐怖冒险游戏《直到黎明》中，萨曼莎戈登是一位关键角色，其性格塑造丰富而立体，包含了多重维度的人性刻画。以下将从几个核心性格特点出发，深入探讨萨曼莎戈登这一角色。 一、勇敢坚韧 萨曼莎面对游戏中极端恶劣的生存环境与持续不断的恐怖…
阅读更多...
openssl3.2 - osslsigncode工程的学习

openssl3.2 - osslsigncode工程的学习

文章目录 openssl3.2 - osslsigncode工程的学习概述笔记工程库地址工程的编译osslsigncodeM工程文件列表osslsigncodeM工程搭建细节原始工程实现的改动自己封装的包含openssl和curl的实现osslsigncodeM工程命令行的用法备注 - VS2019调试环境备注 - 如果要单步openssl的API学学…
阅读更多...
STM32F407移植OpenHarmony笔记9

STM32F407移植OpenHarmony笔记9

继上一篇笔记，已经完成liteos内核的基本功能适配。 今天尝试启动OHOS和XTS兼容性测试。 如何启动OHOS？ OHOS系统初始化接口是OHOS_SystemInit(void)，在内核初始化完成后，就能调用。 extern void OHOS_SystemInit(void); OHOS_Sys…
阅读更多...
ChatGPT高效提问—prompt常见用法（续篇三）

ChatGPT高效提问—prompt常见用法（续篇三）

ChatGPT高效提问—prompt常见用法（续篇三） 1.1 多选项 ​ 多选项技术为模型提供了一个清晰的问题或任务，并附带一组预先定义的潜在答案。这种方法在生成仅限于特定选项集的文本方面表现出色，适用于问答、文本补全和其他任务。利…
阅读更多...
Elasticsearch：混合搜索是 GenAI 应用的未来

Elasticsearch：混合搜索是 GenAI 应用的未来

在这个竞争激烈的人工智能时代，自动化和数据为王。 从庞大的存储库中有效地自动化搜索和检索信息的过程的能力变得至关重要。 随着技术的进步，信息检索方法也在不断进步，从而导致了各种搜索机制的发展。 随着生成式人工智能模型成为吸引力的中…
阅读更多...
『运维备忘录』之 Kubernetes（K8S） 常用命令速查

『运维备忘录』之 Kubernetes（K8S） 常用命令速查

一、简介 kubernetes，简称K8s，是用8代替名字中间的8个字符“ubernete”而成的缩写，是一个开源的，用于管理云平台中多个主机上的容器化的应用。kubernetes是基于容器技术的分布式架构解决方案，具有完备的集群管理能力&a…
阅读更多...
vue3-内置组件-Suspense

vue3-内置组件-Suspense

Suspense (实验性功能) <Suspense> 是一项实验性功能。它不一定会最终成为稳定功能&#xff0c;并且在稳定之前相关 API 也可能会发生变化。 <Suspense> 是一个内置组件&#xff0c;用来在组件树中协调对异步依赖的处理。它让我们可以在组件树上层等待下层的多个嵌…
阅读更多...
机器学习系列——（十五）随机森林回归

机器学习系列——（十五）随机森林回归

引言 在机器学习的众多算法中&#xff0c;随机森林以其出色的准确率、对高维数据的处理能力以及对训练数据集的异常值的鲁棒性而广受欢迎。它是一种集成学习方法&#xff0c;通过构建多个决策树来进行预测和分类。本文将重点介绍随机森林在回归问题中的应用&#xff0c;即随机…
阅读更多...
电力负荷预测 | 电力系统负荷预测模型（Python线性回归、随机森林、支持向量机、BP神经网络、GRU、LSTM）

电力负荷预测 | 电力系统负荷预测模型（Python线性回归、随机森林、支持向量机、BP神经网络、GRU、LSTM）

文章目录 效果一览文章概述源码设计参考资料效果一览 文章概述 电力系统负荷预测模型（Python线性回归、随机森林、支持向量机、BP神经网络、GRU、LSTM） 所谓预测，就是指通过对事物进行分析及研究，并运用合理的方法探索事物的发展变化规律，对其未来发展做出预先估计和判断。…
阅读更多...
【TCP】高频面试题

【TCP】高频面试题

前言 在IT行业的求职过程中&#xff0c;传输控制协议&#xff08;TCP&#xff09;作为网络通信的核心协议之一&#xff0c;其相关面试题常常出现在各大公司面试中。TCP的稳定性和可靠性是支撑互联网数据传输的基石&#xff0c;因此&#xff0c;对TCP有深入理解不仅能够帮助求职…
阅读更多...
架构之模板方法等模式的使用

架构之模板方法等模式的使用

目录 一、程序编写背景 二、编程思路讲解 - 类图 - 实现逻辑 - 工厂模式 - 模板方法模式 接口类&#xff08;代码&#xff09;抽象类&#xff08;代码&#xff09;具体实现类&#xff08;代码&#xff09;工厂类&#xff08;代码&#xff09;注册类&#xff08;代码&…
阅读更多...
【Linux技术宝典】Linux入门：揭开Linux的神秘面纱

【Linux技术宝典】Linux入门：揭开Linux的神秘面纱

文章目录 官网Linux 环境的搭建方式一、什么是Linux&#xff1f;二、Linux的起源与发展三、Linux的核心组件四、Linux企业应用现状五、Linux的发行版本六、为什么选择Linux&#xff1f;七、总结 Linux&#xff0c;一个在全球范围内广泛应用的开源操作系统&#xff0c;近年来越来…
阅读更多...
【Linux学习】线程详解

【Linux学习】线程详解

目录 十八.多线程 18.1 线程与进程 18.2 内核视角看待创建线程与进程 18.3 线程优缺点总结 线程的优点&#xff1a; 线程的缺点&#xff1a; 线程的用途&#xff1a; 18.4 线程与进程的联系 十九.线程控制 19.1 POSIX线程库 19.2 线程创建 19.3 线程等待 19.4 线程终止 19.5 线…
阅读更多...
ChatGPT高效提问—prompt实践（生成VBA）

ChatGPT高效提问—prompt实践（生成VBA）

ChatGPT高效提问—prompt实践&#xff08;生成VBA&#xff09; 2. 生成VBA函数操作Excel ​ 当前Excel表格数据无背景颜色&#xff0c;区分不明显。假如我们想美化数据展示效果&#xff0c;把标题行设置为浅蓝色&#xff0c;其余奇数行设置为橙色&#xff0c;该怎么操作呢&am…
阅读更多...
开启Android学习之旅-1

开启Android学习之旅-1

最近在学习《第一行代码 Android》&#xff0c;两天看书把所有代码都敲了一遍。由于之前没有接触过 Kotlin&#xff0c;导致了囫囵吞枣&#xff0c;跟着书会敲&#xff0c;离开就忘了。Android 大佬开发的各种框架、控件好像大部分都用了 Kotlin。看他们的源码&#xff0c;理解…
阅读更多...
AI 消灭软件工程师？| 新程序员

AI 消灭软件工程师？| 新程序员

【导读】“AI 是否会取代软件工程师”是自大模型爆火以来程序员们最为关心的一大话题&#xff0c;事关编程的未来与我们每一位程序员。本文作者 Babel CEO、多年的资深程序员张海龙深入技术本质&#xff0c;为我们进行了答疑解惑。 本文精选自《新程序员 007&#xff1a;大模型…
阅读更多...
书生谱语-大语言模型测试demo

书生谱语-大语言模型测试demo

课程内容简介 通用环境配置 开发机 InterStudio 配置公钥 在本地机器上打开 Power Shell 终端。在终端中&#xff0c;运行以下命令来生成 SSH 密钥对&#xff1a; ssh-keygen -t rsa您将被提示选择密钥文件的保存位置&#xff0c;默认情况下是在 ~/.ssh/ 目录中。按 Enter …
阅读更多...
【HTTP】localhost和127.0.0.1的区别是什么？

【HTTP】localhost和127.0.0.1的区别是什么？

目录 localhost是什么呢&#xff1f; 从域名到程序 localhost和127.0.0.1的区别是什么&#xff1f; 域名的等级划分 多网站共用一个IP和端口 私有IP地址 IPv6 今天在网上逛的时候看到一个问题&#xff0c;没想到大家讨论的很热烈&#xff0c;就是标题中这个&#xff1a; …
阅读更多...
如何把手机平板变为电脑的屏幕

如何把手机平板变为电脑的屏幕

文章目录 安装软件运行效果结尾 本文首发地址 https://h89.cn/archives/181.html 最新更新地址 https://gitee.com/chenjim/chenjimblog 闲置的手机平板、触屏音箱等&#xff0c;均可作为电脑的扩展屏&#xff0c;为电脑增加一块显示屏&#xff0c;本文介绍如何使用免费的软件s…
阅读更多...
Linux运用fork函数创建进程

Linux运用fork函数创建进程

fork函数&#xff1a; 函数原型&#xff1a; pid_t fork(void); 父进程调用fork函数创建一个子进程&#xff0c;子进程的用户区父进程的用户区完全一样&#xff0c;但是内核区不完全一样&#xff1b;如父进程的PID和子进程的PID不一样。 返回值&#xff1a; RETURN VALUEO…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023