一、项目介绍

本次数据采集以某市建设工程交易服务中心数据为例，网址为“http://www.shcpe.cn/jyfw/xxfw/u1ai51.html”，网站首页如下图所示：

采集到的字段如下图所示：

二、采集过程

本次数据采集使用的是selenium自动化网页爬虫技术，首先，在使用selenium打开网页之后，发现所需要的数据在一个iframe中，iframe的作用是在网页中嵌入另外一个网页，需要使用selenium切换到iframe中才能获取到其中的数据。为了方便起见，我们通过浏览器的开发者工具抓包，找到我们所需数据所在的网页，然后通过selenium直接打开网页即可。网址为“https://ciac.zjw.sh.gov.cn/XmZtbbaWeb/gsqk/ZbjgGkList.aspx”。
接下来，使用selenium操作浏览器模拟人的一系列操作比如鼠标点击、切换窗口等。在这个案例中，首先点击选择中标日期，然后点击具体的项目名称进入详情页，获取到详情页数据之后再点击回退，接下来再点击下一个项目名称，一页点击完之后点击下一页，依次类推。

三、完整代码