这次我们就来聊一聊实用性比较高的爬虫案例:简历自动化抓取,一键get百份求职简历。
本次爬取非常顺利,本以为会遇到几个反爬措施,除了定位遇到几个小坑之外,其余地方皆是一帆风顺,值得提一下的地方主要就是下载链接的随机抓取,会更好的具有拟态磨合从而使效率略高(本来想开一下多线程,奈何这个网站实在太过简单,没有开下去的欲望…)
温馨提示:遇到问题可以检查一下代码格式跟cookie还有代理,若遇到连接池满的警告或者报错笔者在这里提供两种解决方案:
- 方案一:更换代理Ip
- 方案二:将连接字段设置为关闭,即请求完后自动断开
(这里再插一句,本来笔者打算爬一下传说中具有反扒措施的煎蛋网,后来