python如何解决爬虫ip被封- - -“您操作太频繁,请稍后再访问“

描述

python 3.9.6
pycharm

问题

当我想爬取某招聘网站的信息的时候出现如下信息

{"status":false,"msg":"您操作太频繁,请稍后再访问","clientIp":"113.92.xxx.xxx","state":2402}

原因

招聘网站的反爬机制会识别访问的ip地址,没有携带hearders字段时,机制会认为是爬虫,将访问ip封了

解决方法

需要添加header,用来模拟用户登陆。
https://gitee.com/wupei_w/photo/raw/master/wupei_w/photo/20210702143029.png
右键-》copy-》copy as cURL

将复制的url复制到此链接的curl command板块
https://gitee.com/wupei_w/photo/raw/master/wupei_w/photo/20210702143317.png
将此hearders添加到代码里在这里插入图片描述
再在请求里添加headers字段

req = requests.post(url,data=data,headers=headers)

即可成功获取
在这里插入图片描述

完整代码

import requestsdata = {'first': 'true','pn': '1','kd': 'devops'}headers = {'authority': 'www.lagou.com','sec-ch-ua': '" Not;A Brand";v="99", "Google Chrome";v="91", "Chromium";v="91"','x-anit-forge-code': '0','sec-ch-ua-mobile': '?0','user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','content-type': 'application/x-www-form-urlencoded; charset=UTF-8','accept': 'application/json, text/javascript, */*; q=0.01','x-requested-with': 'XMLHttpRequest','x-anit-forge-token': 'None','origin': 'https://www.lagou.com','sec-fetch-site': 'same-origin','sec-fetch-mode': 'cors','sec-fetch-dest': 'empty','referer': 'https://www.lagou.com/jobs/list_devops?labelWords=&fromSearch=true&suginput=','accept-language': 'zh-CN,zh;q=0.9','cookie': 'user_trace_token=20210701180011-4072c9db-d003-4844-a073-736f42bf40d2; _ga=GA1.2.990750347.1625133612; LGUID=20210701180012-2e17d8bd-5ea4-44c5-8778-f1c7a1d55733; RECOMMEND_TIP=true; privacyPolicyPopup=false; _gid=GA1.2.1172577386.1625133628; index_location_city=%E5%85%A8%E5%9B%BD; __lg_stoken__=c464107bfc8c7699b4b9ab091a02b36fa0da7206bb819632fd3fd24aaa845416a2fedb45e6ce11b7c47e4caf7f6cdcb4148deec393528ad92441dded9e313ab97f29157b284b; JSESSIONID=ABAAAECAAEBABIICDEA3CABC2939F48693F2083DDF69F92; WEBTJ-ID=2021072%E4%B8%8A%E5%8D%8811:04:33110433-17a652cd0ed36b-005519fd181336-6373264-921600-17a652cd0eee17; sensorsdata2015session=%7B%7D; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1625133612,1625133614,1625133628,1625206020; PRE_UTM=; PRE_LAND=https%3A%2F%2Fwww.lagou.com%2F; LGSID=20210702140659-b01cbbaa-d692-4da4-8e24-f1f4d2d57725; PRE_HOST=www.baidu.com; PRE_SITE=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DiBegwdc5MIYG8VRAnt1Sl3KH1qai9frV%5FGMfPmg2wuO%26wd%3D%26eqid%3Defb6541e0006959b0000000660deacff; TG-TRACK-CODE=index_search; X_HTTP_TOKEN=6d7dc50382c24c1a0906025261711c7aa8b8ab0f8e; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2217a61833b30333-0d73eba337c105-6373264-921600-17a61833b31a06%22%2C%22first_id%22%3A%22%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24os%22%3A%22Windows%22%2C%22%24browser%22%3A%22Chrome%22%2C%22%24browser_version%22%3A%2291.0.4472.124%22%7D%2C%22%24device_id%22%3A%2217a61833b30333-0d73eba337c105-6373264-921600-17a61833b31a06%22%7D; _gat=1; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1625206091; LGRID=20210702140811-09ff2eee-5c0f-44d2-8501-2117d8d83d89; SEARCH_ID=29f013ed02e6461cb49f2da2573cf25a',
}url = 'https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false's = requests.session()
s.keep_alive = Falsesession=requests.session()
session.get('https://www.lagou.com/jobs/list_devops?labelWords=&fromSearch=true&suginput=',headers=headers)
cookies = session.cookiesreq = requests.post(url,data=data,headers=headers)
print(req.text)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/53335.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

视频转文字怎么转?这3个方法可以将视频转为文字

短视频如火如荼的发展,使得很多人都加入到视频创作的行业中。在视频剪辑过程中,有些需要我们给视频添加字幕,那大家是怎么操作的呢?是一边观看视频,一边打字添加吗?其实不用那么麻烦,现在市面上…

视频转文字如何操作?几种方法带你了解如何视频转文字

不知道大家有没有和我一样的困扰,老师经常发送课堂录屏供我们课后复习,但是视频太长,内容过多,并不方便笔记的整理。那有什么方法可以快速地整理好笔记呢?其实很简单,我们只需要将视频转换成文字就可以轻松…

介绍两种提取视频语音变成文字的方式

怎么提取视频语音变成文字?随着这些年短视频的火爆,越来越多的人开始拍摄了起来。而无论是vlog、美食、游戏还是科技等形式的视频,字幕都是必不可少的。靠手动打字录入不仅麻烦还容易输错,下面给各位介绍两个方便快捷的办法&#…

python实现给视频添加字幕,并根据字幕添加语音

文章目录 前言一、"pyttsx3"实现“文字到音频”的转换二、"pydub"处理音频1.安装2.测试 三、“moviepy”合成字幕和音频1.安装2.测试 总结 前言 最近尝试用python实现给一个视频添加字幕和语音,查了很多博客后有了一个拼拼凑凑的方法&#xff…

手把手教会你视频转文字怎么操作,快来get

由于近几年不可抗力的因素,许多课程以及会议都转变为线上的形式,那你们有没有遇到以下这几个情况:老师讲课的语速的过快,导致记知识点的速度跟不上;又或者是领导开会时,中间还夹杂着他人不同的观点&#xf…

PC端视频中语音实时转文字

PC端视频中语音实时转文字 Win系统语音功能设置 设置哪些软件可以使用麦克风 设置语音输入来源 全局设置 局部软件设置 总结 TOC PC端视频中语音实时转文字 我比较喜欢看视频来学习,特别是那些基础的技术,但是我又有做笔记的习惯,因此一边看…

用GPT4写2023高考语文作文,新课标I卷,Ⅱ卷

文章目录 新课标Ⅰ卷新课标Ⅱ卷总结 每年的高考语文题目都会是热议的话题,今年同样也不例外。但是今年讨论的话题除了作文题目本身之外,对于chatgpt写出的作文会是什么样子的也​让广大网友同样期待 新课标Ⅰ卷 好的故事,可以帮我们更好地表达…

九龙证券|沪指收获2010年以来最强1月 北向资金净买入额刷新历史纪录

昨日,A股小幅调整,2023年1月行情随之收官。全体来看,1月A股商场拾级而上,盘面出现普涨格局,价值与生长风格均有亮眼体现。三大股指中,上证指数1月上涨5.39%,创2010年以来最佳局面。深证成指、创…

发送邮件那些事

邮件历史 世界的第一封电子邮件 1969年10月世界上的第一封电子邮件是由计算机科学家Leonard K.教授发给他的同事的一条简短消息。 据《互联网周刊》报道世界上的第一封电子邮件是由计算机科学家Leonard K.教授发给他的同事的一条简短消息(时间应该是1969年10月),…

对邮件发送系统的深刻解析(一般程序员都不一定搞的懂)

前言 在几年以前,相信不少朋友都听说过,马云同志创办阿里巴巴的时候,还不会发邮件。也不知道在阿里巴巴上市之后,他学会收发邮件了没有!呵呵。我是曾经从内心里“瞧不起”过,至少认为在这一点上我比他强很多…

使用python在Lotus Notes发送邮件

使用python在Lotus Notes发送邮件 环境: 1、python 2.7.9 2、Lotus Notes 8.5 说明: 1、server_name地址查看步骤: 登录邮箱—>文件—>场所—>管理场所—>编辑—>服务器—>宿主/邮件服务器 2、db_name查看步骤&#xff…

Linux发送邮件

linux、ubuntu系统发送邮件,linux系统配置邮箱,linux配置qq邮箱 一、打开qq邮箱,开启smtp服务 按如下操作,发完短信后,点击我已发送,这是会弹出一个授权码,记住这个授权码 后面配置邮件有用到 …

python 发送邮件(收到的邮件要有发送方才能回复)

Python使用SMTP(简单邮件传输协议)发送邮件 普通文本邮件 普通文本邮件发送的实现,关键是要将MIMEText中_subtype设置为plain ## -*- coding: UTF-8 -*- import smtplib from email.mime.text import MIMEText#导入MIMEText类 from email import encoders from emai…

Linux发送接收邮件

目录 一、实验 1.linux用户发送给linux中的其它用户 2.linux用户发送给外网用户 一、实验 1.linux用户发送给linux中的其它用户 (1)使用命令 yum install -y sendmail 安装sendmail软件 (2)使用yum install -y mailx 安装 mail…

程序员,你真的懂得收发电子邮件吗?

前言 在几年以前,相信不少朋友都听说过,马云同志创办阿里巴巴的时候,还不会发邮件。也不知道在阿里巴巴上市之后,他学会收发邮件了没有!呵呵。我是曾经从内心里“瞧不起”过,至少认为在这一点上我比他强很…

linux mutt工具收发邮件

mutt工具收发邮件 软件:mutt-1.5.20-9.20091214hg736b6a.el6.x86_64 yum install -y mutt发邮件 发给rootcentos6用户一份test标题的邮件 mutt -s “test” rootcentos6 连续回车会显示,to给哪个邮箱、subject,然后进入vi界面,进行邮件body编…

震惊,我发邮件让小张查个数据,居然10秒不到就邮件回复我了,怎么这么快?...

然后,我真的震惊了,本以为小张至少要查个20分钟的,结果10秒不到就回复我了: 好奇心超强的我等回到公司,马上问小张,为什么能这么快?居然不告诉我。 但是好奇心超强的我,并不会因此放…

程序员,你真的懂得收发电子邮件吗?(转)

http://www.cnblogs.com/rootq/articles/1320266.html 前言 在几年以前,相信不少朋友都听说过,马云同志创办阿里巴巴的时候,还不会发邮件。也不知道在阿里巴巴上市之后,他学会收发邮件了没有!呵呵。我是曾经从内心里“…

用Python发送电子邮件?这也太丝滑了吧(21)

小朋友们好,大朋友们好! 我是猫妹,一名爱上Python编程的小学生。 欢迎和猫妹一起,趣味学Python。 今日主题 猫爸赚钱养家,细想起来真的不容易啊! 起早贪黑,都是6点早起做早饭,送…

邮件群发-不仅仅是自己想的那么简单(HTTP发送)

不管是工厂还是外贸公司,或者是SOHO,利用“伪EDM邮件营销”都可以用最小的代价,来获取询盘和订单。 而“伪EDM邮件营销”的核心技术,则是“裙发邮件”。 裙发邮件的作用:以最高效的方式把邮件推送给客户,增…