随着网络的迅速发展，如何有效地提取并利用信息已经成为一个巨大的挑战。为了更高效地获取指定信息，需定向抓取并分析网页资源，从而促进了网络爬虫的发展。本章将介绍使用Python编写网络爬虫的方法。

学习目标：
理解网络爬虫的基本操作流程

掌握通过requests库进行数据抓取的方法

掌握通过正则表达式进行数据解析的方法

掌握运用beautifulsoup4库解析和处理数据的方法

1   概述

网络爬虫（Web Spider）又称网络蜘蛛或网络机器人，是一段用来实现自动采集网站数据的程序。 网络爬虫不仅能够为搜索引擎采集网络信息，而且还可以作为定向信息采集器，定向采集某些网站中的特定信息。 对于定向信息的爬取，网络爬虫主要采取数据抓取、数据解析、数据入库的操作流程。

（1）数据抓取：发送构造的HTTP请求，获得包含所需数据的HTTP响应；

（2）数据解析：对HTTP响应的原始数据进行分析、清洗，以提取出所需要的数据；

（3）数据入库：将数据进一步保存到数据库（或文本文件）中，用于构建知识库。

Python提供了许多与网络爬虫相关的库。其中，在数据抓取方面requests；在数据解析方面包括re（正则表达式），beautifulsoup4。         

2   数据抓取

2.1  requests库概述

requests库提供了很多功能特性，几乎涵盖了所有Web服务的需求，包括URL获取、HTTP长连接和连接缓存、HTTP会话、浏览器式的SSL验证、身份认证、Cookie会话、文件分块上传、流下载、HTTP(S)代理功能、连接超时处理等。 由于requests库是第三方库，因此，需要通过pip3指令进行安装，pip3安装命令如下：

pip install requests

 通常需要使用国内代理：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ requests

 安装完requests库后，在Python交互模式下输入导入requests库的语句：

import requests

 如果没有提示错误，则说明安装成功。

2.2  使用requests库

网络爬虫工作流程的第一步是数据的抓取，也就是使用requests库实现发送HTTP请求和获取HTTP响应的内容。

2.2.1发送HTTP请求

requests库提供了几乎所有的HTTP请求方法：

调用get()函数是获取网页最常用的方式，在调用requests.get()函数后，返回的网页内容会保存为一个Response对象。

import requests #导入requests库
r = requests.get('http://www.baidu.com')	#使用get函数打开百度链接
print(type(r))					#查看返回值r的类型
#<class 'requests.models.Response'>

 有时我们需要在URL中传递参数。

例如：在采集百度搜索结果时，需要传递wd参数（搜索词）。requests允许使用params关键字参数，以一个字符串字典来提供这些参数。

import requests				#导入requests库
payload = {'wd': 'Python'}			#定义字典
r = requests.get("http://www.baidu.com/s", params=payload)	#传入URL参数
print(r.url)							#输出URL的值
#'http://www.baidu.com/s?wd=Python'

 用浏览器打开被编码的URL得到百度搜索关键字“Python”的结果。

 2.2.2获取HTTP响应的内容

和浏览器的交互过程一样，requests.get()代表发送HTTP请求的过程，它返回的Response对象代表HTTP响应。我们可以通过Response对象的不同属性来获取不同内容，其语法格式如下：

对象名.属性名

 Response对象的常用属性：

 除了属性，Response对象还提供了两个常用的方法：

（1）json()方法：如果HTTP响应内容包含JSON格式数据，则该方法解析JSON数据。

提示：JSON的全称是“JavaScript Object Notation”，即JavaScript对象表示法，是一种基于文本又独立于语言的轻量级数据交换格式，易于阅读和理解。

例如：这段代码报错了，因为ip的问题，ip好像过期了

import requests			#导入requests库
r = requests.get('http://ip.taobao.com/service/getIpInfo.php?ip=140.205.220.96')
print(r.json())				#调用json()方法
#{'code': 0, 'data': {'ip': '122.88.60.28', 'country': '中国', 'area': '', 'region': '江苏', 'city': '南京', 'county': 'XX', 'isp': '铁通', 'country_id': 'CN', 'area_id': '', 'region_id': '320000', 'city_id': '320100', 'county_id': 'xx', 'isp_id': '100020'}}

 （2）raise_for_status()方法：该方法能在非成功响应后产生异常，即只要返回的请求状态status_code不是200，该方法就会产生一个异常，可用try-except异常处理结果进行处理。

提示:一般情况下，需要在发送HTTP请求之后，调用raise_for_status()方法判断有无发生异常，如果没有发生异常，则进行数据的处理，否则不进行数据处理。

2.2.3  简单应用

例：爬取“http://www.bjjqe.com”网站的内容，并将爬取到的内容输出。

import requests				#导入requests库
#异常处理
try:r = requests.get('http://www.bjjqe.com')#使用get函数打开指定的urlr.raise_for_status()			#如果状态不是200，则引发异常r.encoding = 'utf-8'			#更改编码方式print(r.text)				#用字符串的形式显示页面内容
except:print("网站连接失败！")		#发生异常则输出“网站连接失败！”

 运行效果：

3   数据解析

3.1  正则表达式

3.1.1正则表达式基础

正则表达式是用于处理字符串的强大工具，它使用预定义的特定模式去匹配一类具有共同特征的字符串，主要用于快速、准确地完成复杂字符串的查找、替换等。

具体应用时，可以单独使用某种类型的元字符，但处理复杂字符串时，经常需要将多个正则表达式元字符进行组合。下面给出了几个示例。 （1）'[a-zA-Z0-9]'可以匹配一个任意大小写字母或数字。 （2）'^(\w){6,15}$'匹配长度为6～15的字符串，可以包含数字、字母和下划线。 （3）'^\w+@(\w+\.)+\w+$'检查给定字符串是否为合法电子邮件地址。 （4）'\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}$'检查给定字符串是否为合法IP地址。

3.1.2re模块

在Python中，主要使用re模块来实现正则表达式的操作，该模块的常用方法下表所示。

 （1） 直接使用re模块方法

import re			#导入re模块
#引入 Python 的正则表达式模块 re，它提供了处理正则表达式的功能。
text = 'Python.C.Java...PHP'	#定义text字符串
print(re.split('[\.]+',text))		#调用split()函数对text进行分割
#'[\.]+' 匹配连续的一个或多个点号作为分隔符。
#['Python', 'C', 'Java', 'PHP']
print(re.findall('[a-zA-Z]+',text))	#调用findall()函数查找由大小写字母组成的字符串
#['Python', 'C', 'Java', 'PHP']
#'[a-zA-Z]+' 匹配连续的一个或多个字母，形成单词。

（2）使用正则表达式对象

编译后的正则表达式对象不仅可以提高字符串的处理速度，还提供了更加强大的字符串处理功能。此处，我们首先使用re模块的compile()方法将正则表达式编译成正则表达式对象，然后使用正则表达式对象提供的方法进行字符串处理。

import re				#导入re模块
p = re.compile(r'\d+')		#将正则表达式编译成正则表达式对象
print(p.findall('one1two2three3four4'))#调用findall()方法查找数字
#['1','2','3','4']
#'\d+' 匹配连续的一个或多个数字。

 例子：爬取“http://www.bjjqe.com”网站的内容，解析数据，将该网站上的“.jpg“图片下载到本地。

 代码：（目标网站已更换为https://www.wenjingketang.com/bookHome/）

import requests                         #导入requests库
import re                                   #导入re模块
#定义一个getHtml()函数，根据填写的url参数获取数据
def getHtml(url):#异常处理try:r = requests.get(url)                   #使用get函数打开指定的urlr.raise_for_status()                    #如果状态不是200，则引发异常r.encoding = 'utf-8'                    #更改编码方式return r.text                       #返回页面内容except:return ""                           #发生异常返回空字符
#定义一个getImg()函数，根据填写的html参数获取图片并存储
def getImg(html):reg=r'src="(.+?\.jpg)"'                 #定义正则表达式#非贪婪模式匹配任意数量的任意字符（除了换行符），直到遇到第一个 .jpg。imglist=re.findall(reg,html)                #查找页面中所有符合条件的字符串#在这个例子中，它会找到所有符合 src="...jpg" 格式的图片链接，并将它们作为列表返回。print(imglist)                          #输出列表结果#打印出找到的所有图片链接，便于调试和验证。i = 0                                   #定义i用于给下载的图片命名for url in imglist:                     #遍历with open(str(i)+".jpg","wb") as fd:    #以写入方式打开二进制文件#以二进制写入模式打开一个新文件，文件名为当前计数值 i 加上扩展名 .jpg。#路径前加上“http://www.bjjqe.com”response=requests.get("https://www.wenjingketang.com/bookHome/"+url)  #获取内容#尝试获取图片的实际内容。注意这里直接在图片 URL 前添加了固定的域名 "https://www.wenjingketang.com/bookHome/"fd.write(response.content)      #写入文件print('图片',i,"保存成功\n")      #输出提示信息i+=1                            #i加1
html = getHtml("https://www.wenjingketang.com/bookHome/")     #调用获取页面内容函数
getImg(html)                                #调用获取图片并存储函数

 程序运行效果：

图片会保存在代码的同目录下 

3.2  beautifulsoup4库

beautifulsoup4库也称为Beautiful Soup库或bs4库，用于解析和处理HTML和XML文件，其最大优点是能够根据HTML和XML语法建立解析树，进而提高解析效率。

例如：有以下HTML文件：

<html><head></head><body><a>first</a><a>second</a></body>
</html>

 由于beautifulsoup4库是第三方库，因此，需要通过pip3指令进行安装，pip3安装命令如下：

pip install beautifulsoup4

beautifulsoup4库中最重要的类是BeautifulSoup，它的实例化对象相当于一个页面。

可采用from-import语句导入库中的BeautifulSoup类，然后使用BeautifulSoup()创建一个BeautifulSoup对象。

例如：

import requests			#导入requests库
from bs4 import BeautifulSoup		#从bs4库中导入BeautifulSoup类
r = requests.get('http://www.baidu.com')	#使用get函数打开百度链接
r.encoding = 'utf-8'			#更改编码方式
soup = BeautifulSoup(r.text)		#创建BeautifulSoup对象
print(type(soup))				#查看soup类型
#<class 'bs4.BeautifulSoup'>

 创建的BeautifulSoup对象是一个树形结构，它包含HTML页面中的标签元素，如<head>、<body>等。也就是说，HTML中的主要结构都变成了BeautifulSoup对象的一个属性，可通过“对象名.属性名”形式获取属性值。

属  性	描  述
head	HTML页面的<head>内容
title	HTML页面标题，在<head>中，由<title>标记
body	HTML页面的<body>内容
p	HTML页面中第一个<p>内容
a	HTML页面中第一个<a>内容
strings	HTML页面所有呈现在Web上的字符串，即标签的内容
stripped_strings	HTML页面所有呈现在Web上的非空格字符串

 每一个标签在beautifulsoup4库中又是一个对象，称为Tag对象。

例如：

print(type(soup.p))#查看“soup.p”类型
#<class 'bs4.element.Tag'>

 Tag对象有4个常用属性：

属  性	描  述
name	字符串，标签的名字，如head，title等
attrs	字典，包含了页面标签的所有属性（尖括号内的其他项），如href
contents	列表，这个标签下所有子标签的内容
string	字符串，标签所包围的文字，网页中真实的文字（尖括号之间的内容）

 当需要列出对应标签的所有内容或找到非第一个标签时，可以使用BeautifulSoup对象的find_all()方法。该方法会遍历整个HTML文件，按照条件返回标签内容（列表类型）。其语法格式如下：

对象名.find_all(name, attrs,recursive, string, limit)

name表示标签名；
attrs表示按照标签属性值检索（需列出属性名和值）；
recursive表示查找层次（Beautiful Soup默认检索当前标签的所有子孙节点，如果只搜索标签的直接子节点，可以使用参数recursive = False）；
string表示按照关键字检索string属性内容（采用string = 开始）；
limit表示返回结果的个数，默认返回全部结果。

例：爬取“https://www.wenjingketang.com/bookHome”网站的内容，解析数据，输出该网站中的图书信息。

import requests						#导入requests库
import re								#导入re模块
from bs4 import BeautifulSoup			#导入BeautifulSoup
#定义一个getHtml()函数，根据填写的url参数获取数据
def getHtml(url):#异常处理try:r = requests.get(url)				#使用get函数打开指定的urlr.raise_for_status()				#如果状态不是200，则引发异常r.encoding = 'utf-8'				#更改编码方式return r.text					#返回页面内容except:return ""						#发生异常返回空字符
#定义数据解析函数，用于找到符合条件的数据并输出
def getcon(html):bsObj = BeautifulSoup(html)			#将html对象转化为BeautifulSoup对象#找到所有class为bk_show_info的div来只获取图书的信息divList = bsObj.find_all('div',{'class':'bk_show_info'}) allbook = []						#存储全部数据，二维列表for divs in divList:book_info = []					#存储单本图书信息，一维列表book_name = divs.h4['data-name']	#获取图书名称book_info.append(book_name)	#将图书名称存储到book_infop_list = divs.find_all('p')			#查找单本图书的其他信息（在标签p中）for p_content in p_list:book_info.append(p_content.string)	#将p标签中的信息存入book_infoallbook.append(book_info)		#将单本图书的信息存入allbook#输出获取到的图书信息for book in allbook:print(book)
html = getHtml("https://www.wenjingketang.com/bookHome/")	#调用获取页面内容函数
getcon(html)							#调用解析数据函数

因为网站内容有变化，代码跑不通先学到这里了。。。。。。 

4   典型案例