前言
本文是该专栏的第32篇,后面会持续分享python爬虫干货知识,记得关注。
本文以某房网为例,如下图所示,采集对应城市的新房房源数据。具体实现思路和详细逻辑,笔者将在正文结合完整代码进行详细介绍。接下来,跟着笔者直接往下看正文详细内容。(附带完整代码)
正文
地址:aHR0cHM6Ly93aC5mYW5nLmtlLmNvbS9sb3VwYW4v
目标:采集对应城市的新房房源数据
1. 请求方式和参数分析
老规矩,通过解码方法获取上述链接之后,直接按F12快捷键或者ctrl+shift+I组合键启动控制台,并点击控制台右侧的Preserve log。
然后接下来,可以尝试用鼠标滑到页面底部的翻页按钮处,并随机点击几次翻页按钮。观察控制台右侧的Network下面的fetch/xhr信息栏。
这个时候,你可以尝试点击多次翻页,并随时观察右侧控制台区域。你会看到右侧控制台会出现多个可疑地址。随机点击一个,