Python爬虫基础——BeaytifulSoup模块

BeaytifulSoup模块是一个HTML/XML解析器，主要用于解析和提取HTML和XML文档中的数据。该模块不仅支持Python标准库中的HTML解析器，而且支持许多功能强大的第三方解析器。这里推荐使用lxml解析器，该解析器能将网页中的源代码加载为BeaytifulSoup对象，在使用对象的方法提取数据。个人感觉这个方式比正则表示好理解，当然熟能生巧，自己选择解析数据方式。

1、实例化BeaytifulSoup对象

1.1 从本地文件存储的HTML文档进行实例化为BeaytifulSoup对象

1.2 将获取到的网页源代码字符串实例化为BeaytifulSoup对象

2、用BeautifulSoup对象定位标签

2.1 通过标签名定位网页源码中可能存在多个同名的标签，通过标签名只能定位返回第一个标签.

2.2 通过标签属性进行定位

2.3 通过标签签名和标签属性进行定位

2.4 通过选择器进行定位

2.4.1 id选择器 id选择器可以更具标签页的id属性进行定位。

2.4.2 class选择器根据class属性进行定位的

2.4.3 标签选择器标签选择器与标签名选择器定位的区别在于标签选择器可以返回所有该类型的标签。

2.4.4 层级选择器

3、从标签中提取文本内容和属性值

3.1 从标签中提取文本内容

3.2 从标签中提取属性

##############################
##作者：白雪公主的后妈
##时间：2024年1月6日
##主题：Python爬虫基础——BeaytifulSoup模块
##主要内容：模拟浏览器发起HTTP或HTTPS的网络请求，从而获取网页源代码
##############################'''
BeaytifulSoup模块是一个HTML/XML解析器，主要用于解析和提取HTML和XML文档中的数据。该模块不仅支持Python标准库中的HTML解析器，而且支持许多功能强大的第三方解析器。这里推荐使用lxml解析器，该解析器能将网页中的源代码加载为BeaytifulSoup对象，在使用对象的方法提取数据。
'''
#1、实例化BeaytifulSoup对象
#1.1    从本地文件存储的HTML文档进行实例化为BeaytifulSoup对象from bs4 import BeautifulSoup
fp=open('text1.html',encoding='utf-8')   #读取本地的HTML文档，text.html为本地地址
soup=BeautifulSoup(fp,'lxml')   #用读取的HTML文档实例化一个BeaytifulSoup对象，第二个参数“lxml”表示指定解析器为lxml
# print(soup)
#1.2    将获取到的网页源代码字符串实例化为BeaytifulSoup对象
# from bs4 import BeautifulSoup
# import requests
# #身份码伪装
# header = {"User-Agent":"Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Mobile Safari/537.36 Edg/131.0.0.0"}        #浏览器身份验证
# #请求的地址
# url = "https://www.baidu.com"
# #发起请求,并获得网页源代码
# response = requests.get(url,headers=header).text
# #采用lxml对源码进行解析，实例化网页源码为BeautifulSoup对象
# soup = BeautifulSoup(response,'lxml')
# print(soup)#2、用BeautifulSoup对象定位标签
#2、1通过标签名定位     网页源码中可能存在多个同名的标签，通过标签名只能定位返回第一个标签
# print(soup.a)       #只返回第一个标签
'''
输出结果：
<a class="index-banner square-banner-bgicon" data-tclog="{ct: 10, cst: 2, logFrom: usertext}" data-thunder='cst:2;tid:97;logFrom:user;logInfo:text;logExtra:{"login":0};ref:index_iphone;url:https://m.baidu.com/s?word=%E7%AD%94%E9%A2%98%E7%BA%A2%E5%8C%85&amp;sa=searchpromo_dthb_wiseqipao;'><img src="https://search-operate.cdn.bcebos.com/ec326d1f467b6e1bca119e72956d1574.png"/><span class="index-banner-text"></span></a>
'''
#2、2通过标签属性进行定位
'''
标签属性有class、id等，事件中主要使用class属性来定位标签需要注意的是class这个单词为python的保留字，在用的过程中
使用class_来区分。其他标签如id属性，则没有添加下划线。
'''
# print(soup.find(class_='first'))          #返回class属性值为first的第一个标签
# print(soup.find_all(class_='first'))      #返回class属性值为first的所有标签
'''
运行结果：
<div class="first ten"></div>[<div class="first ten"></div>, <div class="first">第一个div<p>first div下的p标签</p>
<a class="first" href="https://www.baidu.com/" target="_self" title="百度一下">
<spam>a标签下的span标签</spam>first div下的第一个a标签</a>
<a class="two" href=""></a>
<img alt="" scr=""/>
</div>, <a class="first" href="https://www.baidu.com/" target="_self" title="百度一下">
<spam>a标签下的span标签</spam>first div下的第一个a标签</a>, <li class="first" id="first">第一个li标签</li>]
'''
#2、3通过标签名和标签属性进行定位
# print(soup.find('div',class_='first'))          #返回class属性值为first的第一个标签
# print(soup.find_all('div',class_='first'))      #返回class属性值为first的所有标签
'''
运行结果：
<div class="first ten"></div>
[<div class="first ten"></div>, <div class="first">第一个div<p>first div下的p标签</p>
<a class="first" href="https://www.baidu.com/" target="_self" title="百度一下">
<spam>a标签下的span标签</spam>first div下的第一个a标签</a>
<a class="two" href=""></a>
<img alt="" scr=""/>
</div>]
'''
#2、4通过选择器进行定位
'''
使用select()函数可以根据指定的选择器返回所有符合条件的标签。
常用的标签有id选择器，class选择器，标签选择器，层级选择器
'''
#2.4.1  id选择器   id选择器可以更具标签页的id属性进行定位。
# print(soup.select('#first'))
'''
运行结果：
select()函数括号中的'#first'是id选择器的书写格式，'#'表示id选择器，'#'后的捏偶然那个为id属性的值。
[<li class="first" id="first">第一个li标签</li>]
值得注意的是返回的是一个列表
在text1.html中又添加一行<li class="first" id="first">第一个li标签</li>
结果显示：[<li class="first" id="first">第一个li标签</li>, <li class="first" id="first">第一个li标签</li>]
'''
#2.4.2  class选择器    根据class属性进行定位的
# print(soup.select('.first'))
'''
运行结果：
select()函数括号中的'.first'class选择器的书写格式，'.'表示class选择器，'.'后的捏偶然那个为class属性的值。
根据运行结果显示，返回了class属性值为first的所有标签
[<div class="first ten"></div>, <div class="first">第一个div<p>first div下的p标签</p>
<a class="first" href="https://www.baidu.com/" target="_self" title="百度一下">
<spam>a标签下的span标签</spam>first div下的第一个a标签</a>
<a class="two" href=""></a>
<img alt="" scr=""/>
</div>, <a class="first" href="https://www.baidu.com/" target="_self" title="百度一下">
<spam>a标签下的span标签</spam>first div下的第一个a标签</a>, <li class="first" id="first">第一个li标签</li>, <li class="first" id="first">第一个li标签</li>]
'''
#2.4.3  标签选择器    标签选择器与标签名选择器定位的区别在于标签选择器可以返回所有该类型的标签。
# print(soup.select('li'))
'''
运行结果：
[<li class="first" id="first">第一个li标签</li>, <li class="first" id="first">第一个li标签</li>, <li class="two" id="two">第二个li标签</li>, <li class="three" id="three">第三个li标签</li>, <li class="four" id="four">第四个li标签</li>, <li class="five" id="five">第五个li标签</li>]
'''
#2.4.4  层级选择器
'''
一个标签可以包含另一个标签，这些标签位于不同的层级，形成层层嵌套的结构。
利用层级选择器可以先定位外层标签，然后定位每层标签，这样一层层往里定位，就能找到需要的标签。
'''
# print(soup.select('div>ul>#first'))     #选中所有<div>标签下的li标签中的id属性值为first的所有标签
# print('\n')
# print(soup.select('div>ul>li'))         #选中所有<div>标签下的li标签中的所有li标签
# print('\n')
# print(soup.select('div li'))            #选中<div>标签包含所有<li>标签
'''
运行结果：
[<li class="first" id="first">第一个li标签</li>][<li class="first" id="first">第一个li标签</li>, <li class="two" id="two">第二个li标签</li>, <li class="three" id="three">第三个li标签</li>, <li class="four" id="four">第四个li标签</li>, <li class="five" id="five">第五个li标签</li>][<li class="first" id="first">第一个li标签</li>, <li class="two" id="two">第二个li标签</li>, <li class="three" id="three">第三个li标签</li>, <li class="four" id="four">第四个li标签</li>, <li class="five" id="five">第五个li标签</li>]
'''
#3、从标签中提取文本内容和属性值
#3.1    从标签中提取文本内容
'''
定位到标签后，还需要从标签中提取文本内容，才能获取需要的数据。
从标签中提取文本内容可以利用标签的string或text属性。
'''
# print(soup.select('.first')[1].string)
# print(soup.select('.first')[1].text)
'''
运行结果：
None                #string属性提取直系文本，.select('.first')[1]表示提取class标签下的所有'first'属性值中的第二个直系文本，如果存在套用则返回None例如：<div class = 'first'>第一个div<p>first div下的p标签</p><a href="https://www.baidu.com/" title = '百度一下' target="_self" class="first"><spam>a标签下的span标签</spam>first div下的第一个a标签</a><a href="" class="two"></a><img scr="" alt="" /></div>返回None，因为有太多了<p>first div下的p标签</p>返回：first div下的p标签
第一个div            .select('.first')[1].text，表示提取class标签下的所有'first'属性值中的第二个所有文本值。first div下的p标签a标签下的span标签first div下的第一个a标签
'''
#3.2    从标签中提取属性
print(soup.find(class_='first')['class'])
'''
运行结果：
['first', 'ten']
.find(class_='first')定位到第一个class属性值为first的标签，['class']表示提取class的属性值
'''