python实现http拦截
- 前言:为什么要使用http拦截
- 一、技术调研
- 二、技术选择
- 三、使用方法
前言:为什么要使用http拦截
大多数爬虫玩家会直接选择API请求数据,但是有的网站需要解决扫码登录、Cookie校验、数字签名等,这种方法实现时间长,难度高。需求里面不需要高并发,有没有比较亲民的方法呢,答案是有的!
一、技术调研
通过百度搜索python实现http拦截,发现方法有很多,有使用抓包软件、有使用中间人…基本都需要安装证书、设置代理,操作起来非常麻烦,小白很有可能在配置环境的时候就放弃选择了。
二、技术选择
- Seleunim:实现请求拦截需要配合使用浏览器扩展工具,需要指定webdirve版本,还是比较麻烦。
- Mitmproxy:实现拦截请求,需要安装证书、设置代理非常麻烦,直接放弃。
- 抓包软件:需要安装抓包软