Python爬虫进阶（实战篇一）

接，基础篇，链接：python爬虫入门（所有演示代码，均有逐行分析！）-CSDN博客

1.爬取博客网站全部文章列表

ps:补充（正则表达式）

爬虫实现

爬虫代码：

2.爬取豆瓣电影top250榜

爬虫代码：

3.爬取北京天气十年数据

爬虫代码：

1.爬取博客网站全部文章列表

ps:补充（正则表达式）

PS:这里涉及到python基础语法中正则表达式的内容

课：第三阶段-09-正则表达式-基础方法_哔哩哔哩_bilibili

实例代码：

import reurl1 = "http://www.crazyant.net/1234.html"
url2 = "http://www.crazyant.net/1234.html#comments"
url3 = "http://www.baidu.com"pattern = r'^http://www.crazyant.net/\d+.html$'
#r；使\d这类转义字符作为一个整体出现，而不是分开的\+d的意思；\d表示一个十进制的数字 [0-9]，\d+代表十进制的数字有多个print(re.match(pattern,url1))    #ok
print(re.match(pattern,url2))    #none
print(re.match(pattern,url3))    #none

运行结果图：

爬虫实现

创建Python Package，命名为blog_test

在package下创建url_manager.py文件，用于存放url管理器模块代码

url管理器代码：

class UrlManager():'''url管理器'''def __init__(self):#定义一个初始化函数self.new_urls = set()#新的待爬取url的集合self.old_urls = set()#已爬取url的集合def add_new_url(self, url):#定义新增单个url的方法一,传一个参数urlif url is None or len(url) == 0:#判断url是否为空或长度为0return#符合上述条件就停止增加if url in self.new_urls or url in self.old_urls:#判断url是否已经被记录在集合里return#已经载集合里的url不新增self.new_urls.add(url)#上述干扰条件排除后，url就可以加入待爬取的集合中def add_new_urls(self,urls):#定义新增url的方法二，传一个参数urlsif urls is None or len(urls) == 0:#判断参数urls是否为空returnfor url in urls:#不为空就将单个url循环传入单个判断url方法中经行判断存储self.add_new_url(url)def get_url(self):#定义获取新url的函数if self.has_new_url():#如果存在待爬取的urlurl = self.new_urls.pop()#就将待爬取的url从集合中移除并返回self.old_urls.add(url)#将移除的url加入已爬取的集合中return url#并将其返回else:return Nonedef has_new_url(self):#定义一个判断url是否存在等待爬取的urlreturn len(self.new_urls) > 0#如果待爬取集合中有元素就分返回这个集合'''测试代码'''
if __name__ == "__main__":
#文件内置变量，仅在执行当前文件时可用。当此文件被调用时，此出变量不会被执行。因此测试代码时一般加上这句话url_manger = UrlManager()#调用整个类url_manger.add_new_url("url1")url_manger.add_new_urls(["url1", "url2"])#故意增加一个重复的urlprint(url_manger.new_urls, url_manger.old_urls)print("#" * 30)new_url = url_manger.get_url()print(url_manger.new_urls, url_manger.old_urls)print("#" * 30)new_url = url_manger.get_url()print(url_manger.new_urls, url_manger.old_urls)print("#" * 30)print(url_manger.has_new_url())

在package下创建craw_all_pages.py文件，用于存放爬虫代码

爬虫代码：

import url_manager
import requests
from bs4 import BeautifulSoup
import reroot_url = "http://www.crazyant.net"urls = url_manager.UrlManager()
#引入之前的url管理器模块
urls.add_new_url(root_url)
#初始化url管理器fout = open("craw_all_pages.txt", "w", encoding="utf-8")
#初始化文件，打开文件定义为可写入模式while urls.has_new_url():
#如果有新的uelcurr_url = urls.get_url()#循环获取urlr = requests.get(curr_url, timeout=3)#爬取获取到的url，同时定义timeout=3，防止页面卡死if r.status_code != 200:#如果状态码不是200,print("error,return status_code is not 200", curr_url)#输出上面的句子，和当前的urlcontinuesoup = BeautifulSoup(r.text, "html.parser")#获取url的所有内容title = soup.title.string#soup.tite快速获取title节点，.string得到title里面的文字fout.write("%s\t%s\n" % (curr_url, title))# %s将字符串按照指定格式输出；\t:空格；\n：换行；%(curr_url, title)将前面的内容传入后面fout.flush()# 内存中的数据刷到磁盘里print("success:%s, %s, %d" % (curr_url, title, len(urls.new_urls)))links = soup.find_all("a")# 找到所有的a节点for link in links:href = link.get("href")# 获取href标签中的所有内容if href is None:# 如果href中没有内容continue# 跳过并继续执行pattern = r"^http://www.crazyant.net/\d+.html$"if re.match(pattern, href):#字符串匹配查找，看看href格式是否与我们所需数据格式一致urls.add_new_url(href)#将找到的href添加到fout.close()

运行结果：

2.爬取豆瓣电影top250榜

爬取内容：榜单数，标题，评分和评价人数。

查看豆瓣250的url，可以看到每一页都不一样，间隔25，最后一页start=225

查找需要爬取的信息：电影排行、电影名称、电影评分和评价人数。

爬虫代码：

1.使用requests爬取网页

2.使用BeautifulSoup实现数据解析

3.借助pandas将数据写出到Excel

import requests
from bs4 import BeautifulSoup
import pandas as pd
import pprint#构造分页数字列表
page_indexs = range(0, 250, 25)    #从0开始到250，取不到250，每个25个数字取一个,形成一个可迭代的对象而不是列表
list(page_indexs)    #构造列表
#需要将User-agent修改成自己的
headers = {'User-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:131.0) Gecko/20100101 Firefox/131.0'
}def downlode_all_htmls():'''下载所有列表页面的HTML，用于后续的分析'''htmls = []for idx in page_indexs:url = f"http://movie.douban.com/top250?start={idx}&filter="print("craw html:",url)r = requests.get(url,headers=headers)if r.status_code != 200:raise Exception("error")htmls.append(r.text)return htmls
#执行爬取
htmls = downlode_all_htmls()def parse_single_html(html):'''解析单个HTML，得到数据@return list({"link","title",[label]})'''soup = BeautifulSoup(html, 'html.parser')#获取每个电影的信息article_items = (soup.find("div",class_="article").find("ol",class_="grid_view").find_all("div",class_="item"))datas = []for article_item in article_items:#排序数字rank = article_item.find("div",class_="pic").find("em").get_text()#分步实现，首先获取文章的infoinfo = article_item.find("div",class_="info")#然后获取标题title = info.find("div",class_="hd").find("span",class_="title").get_text()#获取五星评级、评分、评价人数,span有4个，所以使用find_allstars = (info.find("div",class_="bd").find("div",class_="star").find_all("span"))#星级为第一个spanrating_star = stars[0]["class"][0]#评分为第二个spanrating_num = stars[1].get_text()#评分人数为最后一个spancomments = stars[3].get_text()datas.append({"rank":rank,"title":title,"rating_star":rating_star.replace("rating","").replace("-t",""),     #去掉前缀和后缀"rating_num":rating_num,"comments":comments.replace("人评价","")    #把人评价去掉})return datas#pprint可以漂亮的打印数据
pprint.pprint(parse_single_html(htmls[0]))#执行所有的HTML页面的解析
all_datas = []
for html in htmls:all_datas.extend(parse_single_html(html))
print(all_datas)
print(len(all_datas))df = pd.DataFrame(all_datas)
print(df)
#这里想直接输出excel需要安装openpyxl库
df.to_excel("豆瓣电影TOP250.xlsx")

3.爬取北京天气十年数据

爬取目标：http://tianqi.2345.com/wea_history/54511.htm

涉及技术：

headers中设置user agent反爬机制

通过network抓包，分析ajax的请求和参数

通过for循环请求不同的参数的数据

利用pandas实现excel的合并与保存

首先进入网站，更换年份、月份，发现网站地址没有改变

可以判断出，网页存在隐藏的步奏，需要对网页进行抓包操作

右键检查，选择网络（network），不关闭页面的同时，点击更改年份，抓包获取数据

点击获取到的数据，在请求头中找到Uer_Agent，也可以看到请求方式为get

查看请求参数

查看响应内容

爬取网址

爬虫代码：

import time
import requests
import pandas as pd
from numpy.random import random
import random#设置随机休眠时间，防止ip被禁
time.sleep(random.random()*3)url = "http://tianqi.2345.com/Pc/GetHistory"
#请求头，防拦截
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.5845.97 Safari/537.36 Core/1.116.454.400 QQBrowser/13.2.6134.400","Cookie":"Hm_lvt_a3f2879f6b3620a363bec646b7a8bcdd=1729388880; HMACCOUNT=52D6CD0BBA8BE5AD; Hm_lpvt_a3f2879f6b3620a363bec646b7a8bcdd=1729388945","Referer":"http://tianqi.2345.com/wea_history/54511.htm"
}def craw_table(year, month):"""提供年费烦恼和月份爬取对应的表格数据"""#将参数传过来params = {"areaInfo[areaId]": 54511,"areaInfo[areaType]": 2,"date[year]": year,"date[month]": month}resp = requests.get(url, headers=headers, params=params)data = resp.json()["data"]#解析网页中所有的表格，取第一个元素df = pd.read_html(data)[0]return dfdf_list = []
for year in range(2014, 2024):for month in range(1,13):print("爬取:",year, month)df = craw_table(year,month)df_list.append(df)pd.concat(df_list).to_excel("北京10年天气数据.xlsx",index=False)