文章目录
- 前言
- 目标网站分析
- 目标网页爬取
- 数据解析
- 导出数据
- 其他问题处理
- 分页检索及多关键字搜索去重
- cookie问题
- 工具封装
- 经验总结
前言
网络数据爬取大致分为两类：
静态爬取：该种方式针对那种架构比较老的网站，使用模版方式，通过浏览器F12只能找到静态页面，找不到返回json数据的接口，数据以html的方式存在
api爬取：网站采用前后端分离架构，可以很容易找到接口，获取json数据，这种爬取比较简单，只需按照规则调用接口即可获取目标数据。
这里仅介绍复杂一些的静态爬取方式。
目标网站分析
以湖北省政府采购网为例，https://www.ccgp-hubei.gov.cn/，爬取湖北省招投标信息，将结果导出到excel。
通过分析，该网站找不到restfui的接口，全部是静态页面，使用jsp技术建设，jsp技术是直接在后端将数据写入页面模板，然后再返回前端的，所以不可能找到restful接口的。但是发现有一个招投标信息的检索站点，https://www.ccgp-hubei.gov.cn:9040/quSer/searchXmgg.html，这个站点和首页站点是存在跨域的，因为端口不一致。但是查询数据返回又是另外一个地址https://www.ccgp-hubei.gov.cn:9040/quSer/search，这个地址返回所有查询数据并分页显示，返回数据格式为html，且带了检索参数。
使用apipost工具，模拟该接口请求，如下：
经过调试发现几点规律：
1 该接口使用POST协议，发送检索参数，并返回html数据
2 接口调用需要带cookie，且cookie有有效期限制（这一点很重要）
目标网页爬取
通过上一步分析得到的规律，开始使用urllib模拟浏览器调用
# 获取待解析网页
def get_html(key, page_no, page_size, begin_date, end_date):url = 'https://www.ccgp-hubei.gov.cn:9040/quSer/search'param = {"queryInfo.type": "xmgg","queryInfo.city": "武汉市","q
