Python3网络爬虫开发实战（10）模拟登录（需补充账号池的构建）

文章目录

  • 一、基于 Cookie 的模拟登录
  • 二、基于 JWT 模拟登入
  • 三、账号池
  • 四、基于 Cookie 模拟登录爬取实战
  • 五、基于JWT 的模拟登录爬取实战
  • 六、构建账号池

很多情况下，网站的一些数据需要登录才能查看，如果需要爬取这部分的数据，就需要实现模拟登入的一些机制；模拟登录现在主要分为两种方式，一种是基于 Session 和 Cookie 的模拟登入，一种是基于 JWT（Json Web Token）的模拟登录。

对于第一种模式，打开网页后模拟登录，服务器会返回带有 Set-Cookie 字段的响应头，客户端会生成对应的 Cookie，其中保存着与 SessionID 相关的信息，之后发送给服务器的请求都会携带这个生成的 Cookie。服务器接收到请求后，会根据 Cookie 中保存的 SessionID 找到对应的 Session，同时效验 Cookie 里的相关信息，如果当前 Session 是有效的并且效验成功，服务器就判断当前用户已经登录，返回请求的页面信息，所以这种模式的核心是获取客户端登录后生成的 Cookie；

对于第二种模式，是因为现在有很多的网站采取的开发模式是前后端分离模式，所以使用 JWT 进行登录效验越来越普遍，在请求数据时，服务器会效验请求中携带的 JWT 是否有效，如果有效，就返回正常的数据，所以这种模式其实就是获取 JWT；

一、基于 Cookie 的模拟登录

如果要使用爬虫实现基于 Session 和 Cookie 的模拟登录，最为主要的是要维护好 Cookie 的信息，因为爬虫相当于客户端的浏览器；

  1. 如果在浏览器中登录了自己的账号，可以直接把网页中的 Cookie 复制给爬虫，就相当于手动在浏览器中登录；
  2. 如果让爬虫完全自动化操作，可以直接使用爬虫模拟登录过程，这个过程基本上就是一个 POST 请求，用爬虫把用户名，密码等信息提交给服务器，服务器会返回一个 Set-Cookie 字段，我们只需要将该字段保存下来，然后提交给爬虫请求就好；
  3. 如果 POST 请求难以构造，我们可以使用自动化工具来模拟登录，例如使用 Selenium，Playwright 来发送请求，然后获取 Cookie 进行发送请求；

二、基于 JWT 模拟登入

JWT 的字符串就是用户访问的凭证，所以模拟登录只需要做到以下几步：

  1. 模拟登录操作，例如拿着用户名和密码信息请求登录接口，获取服务器返回的结果，这个结果中通常包含 JWT 信息，将其保存下来即可；
  2. 之后发送给服务器的请求均携带 JWT，在 JWT 不过期的情况下，通常能正常访问和执行操作，携带方式多种多样，因网站而异；
  3. 如果 JWT 过期了，可能需要再次做第一步，重新获取 JWT；

三、账号池

如果爬虫要求爬取的数据量比较大，或者爬取速度比较快，网站又有单账号并发限制或者访问状态检测等反爬虫手段，我们的账号可能就无法访问网站或者面临封号的风险；

这时我们建立一个账号池进行分流，用多个账号随机访问网站或爬取数据，这样能大幅提高爬虫的并发量，降低被封号的风险，例如准备 100 个账号，将这 100 个账号都模拟登录，并保存对应的 Cookie 和 JWT，每次都随机抽取一个来访问，账号多，所以每个账号被选取的概率就小，也就避免了单账号并发量过大的问题，从而降低封号风险；

四、基于 Cookie 模拟登录爬取实战

目标网址：Scrape | Movie

账号：admin
密码：admin

这里由于登入请求构造并没有涉及到加密过程，因此我们可以直接构造 requests 请求来执行请求；仔细分析后可以发现登入请求返回的状态码是 302，同时登入完毕后页面自动发生了跳转，因此在使用 requests 够着 post 请求的时候，需要将 allow_redirects 参数设置为 False；

import requests
import parselheaders = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6','Cache-Control': 'max-age=0','Connection': 'keep-alive','Content-Type': 'application/x-www-form-urlencoded','Origin': 'https://login2.scrape.center','Referer': 'https://login2.scrape.center/login','Sec-Fetch-Dest': 'document','Sec-Fetch-Mode': 'navigate','Sec-Fetch-Site': 'same-origin','Sec-Fetch-User': '?1','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0','sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Windows"',
}data = {'username': 'admin','password': 'admin',
}response = requests.post('https://login2.scrape.center/login', headers=headers, data=data, allow_redirects=False)# 得到 cookies
cookies = response.cookies.get_dict()# 将获取到的 cookie 放入 requests 的 get 请求中
response = requests.get('https://login2.scrape.center/', cookies=cookies, headers=headers)# 解析网页数据
selector = parsel.Selector(response.text)
names = selector.xpath('//*[@id="index"]/div[1]/div[1]/div/div/div/div[2]/a/h2/text()').getall()# 打印名字
print(names)# ['霸王别姬 - Farewell My Concubine',
#  '这个杀手不太冷 - Léon',
#  '肖申克的救赎 - The Shawshank Redemption',
#  '泰坦尼克号 - Titanic',
#  '罗马假日 - Roman Holiday',
#  '唐伯虎点秋香 - Flirting Scholar',
#  '乱世佳人 - Gone with the Wind',
#  '喜剧之王 - The King of Comedy',
#  '楚门的世界 - The Truman Show',
#  '狮子王 - The Lion King']

在这里我们首先获得了 cookies，然后又手动要将 cookies 放入到后续的请求之中，这里我们可以构建 Session 请求来自动化添加 cookies；如下

import requests
import parselheaders = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6','Cache-Control': 'max-age=0','Connection': 'keep-alive','Content-Type': 'application/x-www-form-urlencoded','Origin': 'https://login2.scrape.center','Referer': 'https://login2.scrape.center/login','Sec-Fetch-Dest': 'document','Sec-Fetch-Mode': 'navigate','Sec-Fetch-Site': 'same-origin','Sec-Fetch-User': '?1','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0','sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Windows"',
}data = {'username': 'admin','password': 'admin',
}# 构建 session
session = requests.Session()# 发送登入请求
response = session.post('https://login2.scrape.center/login', headers=headers, data=data, allow_redirects=False)# 无需手动配置 cookies，发送页面请求
response = session.get('https://login2.scrape.center/', headers=headers)# 解析网页数据
selector = parsel.Selector(response.text)
names = selector.xpath('//*[@id="index"]/div[1]/div[1]/div/div/div/div[2]/a/h2/text()').getall()# 打印名字
print(names)# ['霸王别姬 - Farewell My Concubine',
#  '这个杀手不太冷 - Léon',
#  '肖申克的救赎 - The Shawshank Redemption',
#  '泰坦尼克号 - Titanic',
#  '罗马假日 - Roman Holiday',
#  '唐伯虎点秋香 - Flirting Scholar',
#  '乱世佳人 - Gone with the Wind',
#  '喜剧之王 - The King of Comedy',
#  '楚门的世界 - The Truman Show',
#  '狮子王 - The Lion King']

这里是对于请求未涉及到加密或者带有验证码的网站，如果涉及到加密但是又不会解密，我们可以使用自动化工具来获取 Cookie；这里以 Playwright 为例子；

import requests
import parsel
from playwright.sync_api import sync_playwrightdef get_cookies():with sync_playwright() as playwright:cookies = {}browser = playwright.chromium.launch(headless=True)context = browser.new_context()page = context.new_page()page.goto("https://login2.scrape.center/login")page.locator('input[name="username"]').fill("admin")page.locator('input[name="password"]').fill("admin")page.locator('input[type="submit"]').click()cookieList = context.cookies()context.close()browser.close()for cookie in cookieList:cookies[cookie['name']] = cookie['value']return cookiesheaders = {'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7','Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6','Cache-Control': 'max-age=0','Connection': 'keep-alive','Content-Type': 'application/x-www-form-urlencoded','Origin': 'https://login2.scrape.center','Referer': 'https://login2.scrape.center/login','Sec-Fetch-Dest': 'document','Sec-Fetch-Mode': 'navigate','Sec-Fetch-Site': 'same-origin','Sec-Fetch-User': '?1','Upgrade-Insecure-Requests': '1','User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0','sec-ch-ua': '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"','sec-ch-ua-mobile': '?0','sec-ch-ua-platform': '"Windows"',
}cookies = get_cookies()
response = requests.get('https://login2.scrape.center/', cookies=cookies, headers=headers)# 解析网页数据
selector = parsel.Selector(response.text)
names = selector.xpath('//*[@id="index"]/div[1]/div[1]/div/div/div/div[2]/a/h2/text()').getall()# 打印名字
print(names)# ['霸王别姬 - Farewell My Concubine',
#  '这个杀手不太冷 - Léon',
#  '肖申克的救赎 - The Shawshank Redemption',
#  '泰坦尼克号 - Titanic',
#  '罗马假日 - Roman Holiday',
#  '唐伯虎点秋香 - Flirting Scholar',
#  '乱世佳人 - Gone with the Wind',
#  '喜剧之王 - The King of Comedy',
#  '楚门的世界 - The Truman Show',
#  '狮子王 - The Lion King']

五、基于JWT 的模拟登录爬取实战

目标网址：Scrape | Movie

账号：admin
密码：admin

import requestsheaders = {"Accept": "application/json, text/plain, */*","Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6","Connection": "keep-alive","Content-Type": "application/json;charset=UTF-8","Origin": "https://login3.scrape.center","Sec-Fetch-Dest": "empty","Sec-Fetch-Mode": "cors","Sec-Fetch-Site": "same-origin","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0","sec-ch-ua": '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"',"sec-ch-ua-mobile": "?0","sec-ch-ua-platform": '"Windows"',
}json_data = {"username": "admin","password": "admin",
}# 这里使用 json 而不是使用 data 传参是因为 headers 中的 Content-Type 接受的是 application/json 数据
response = requests.post("https://login3.scrape.center/api/login", headers=headers, json=json_data
)# 获取 token 构建 headers 中的 Authorization
token = response.json()["token"]
Authorization = "jwt " + token
headers = {"Accept": "application/json, text/plain, */*","Accept-Language": "zh-CN,zh;q=0.9,en;q=0.8,en-GB;q=0.7,en-US;q=0.6","Authorization": Authorization,"Connection": "keep-alive","Sec-Fetch-Dest": "empty","Sec-Fetch-Mode": "cors","Sec-Fetch-Site": "same-origin","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Edg/126.0.0.0","sec-ch-ua": '"Not/A)Brand";v="8", "Chromium";v="126", "Microsoft Edge";v="126"',"sec-ch-ua-mobile": "?0","sec-ch-ua-platform": '"Windows"',
}params = {"limit": "18","offset": "0",
}# 直接使用 get 请求获取数据
response = requests.get("https://login3.scrape.center/api/book", params=params, headers=headers
)print(response.json())# {
#     "count": 9200,
#     "results": [
#         {
#             "id": "34473697",
#             "name": "R数据科学实战：工具详解与案例分析",
#             "authors": ["刘健", "邬书豪"],
#             "cover": None,
#         }
#     ],
# }

在这里由于使用的是 JWT，响应头中并不会返回一个 Set-Cookies 参数，因此使用 Session 来完成 JWT 是没有效果的，只能单个请求进行构建；

六、构建账号池

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/402339.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

K8S - ConfigMap的简介和使用

K8S - ConfigMap的简介和使用

什么是configMap Kubernetes中的ConfigMap 是用于存储非敏感数据的API对象，用于将配置数据与应用程序的镜像分离。ConfigMap可以包含键值对、文件或者环境变量等配置信息，应用程序可以通过挂载ConfigMap来访问其中的数据，从而实现应用配置的…
阅读更多...
ubuntu20 lightdm无法自动登录进入桌面

ubuntu20 lightdm无法自动登录进入桌面

现象：在rk3568的板子上自己做了一个Ubuntu 20.04的桌面系统。配置lightdm自动登录桌面，配置方法如下： $ vim /etc/lightdm/lightdm.conf [Seat:*] user-sessionxubuntu autologin-userusername #修改成自动登录的用户名 greeter-show-m…
阅读更多...
38-PCB布局实战实战及优化

38-PCB布局实战实战及优化

1.先对布局好的器件进行锁定 1.根据模块化布局 2.电容尽量靠近ic附近，可以起到很好的滤波效果 3.复位按键尽量摆在容易按键的地方，比如周围 。。。。 最后进行对齐
阅读更多...
【OCR 学习笔记】二值化——局部阈值方法

【OCR 学习笔记】二值化——局部阈值方法

二值化——局部阈值方法 自适应阈值算法Niblack算法Sauvola算法 自适应阈值算法 自适应阈值算法1用到了积分图（Integral Image）的概念。积分图中任意一点 ( x , y ) (x,y) (x,y)的值是从图左上角到该点形成的矩形区域内所有值的和。即： I (…
阅读更多...
模板[C++]

模板[C++]

目录 1.🚀泛型编程🚀 2.🚀函数模板🚀 2.1 ✈️函数模板概念✈️ 2.2 ✈️函数模板格式✈️ 2.3✈️函数模板的原理✈️ 2.4 ✈️函数模板的实例化✈️ 2.5 ✈️模板参数的匹配原则✈️ 3.🚀类模板&#x1f680…
阅读更多...
文件中找TopK问题 的详细讲解

文件中找TopK问题 的详细讲解

一：问题： 从一个包含10000整数的文件中找出最大的前10个数。 二：方法： 1：先直接拿文件的前10个数，建造一个小堆 2：再依次读取文件中，剩下的数，比堆顶大，则…
阅读更多...
学习记录第二十九天

学习记录第二十九天

信号量————来描述可使用资源的个数 信号量（Semaphore）是一种用于控制多个进程或线程对共享资源访问的同步机制。在C语言中，通常我们会使用POSIX线程（pthread）库来实现信号量的操作 信号量有两个主要操作&#xf…
阅读更多...
C语言 ——— 位段（位域）

C语言 ——— 位段（位域）

目录 什么是位段 位段的内存分配 什么是位段 位段的声明和结构体是类似的 但有两个不同： 1. 位段的成员必须是整型家族： int（整型） ，unsigend int （无符号整型），sigend int&…
阅读更多...
【初阶数据结构题目】32. 希尔排序

【初阶数据结构题目】32. 希尔排序

文章目录 希尔排序希尔排序的时间复杂度计算 希尔排序 希尔排序法又称缩小增量法。希尔排序法的基本思想是：先选定一个整数（通常是gap n/31），把待排序文件所有记录分成各组，所有的距离相等的记录分在同一组内&#x…
阅读更多...
歌曲爬虫下载

歌曲爬虫下载

本次编写一个程序要爬取歌曲音乐榜https://www.onenzb.com/ 里面歌曲。有帮到铁子的可以收藏和关注起来！！！废话不多说直接上代码。 1 必要的包 import requests from lxml import html,etree from bs4 import BeautifulSoup import re impo…
阅读更多...
Qt作业合集

Qt作业合集

8.14作业 设置窗口，按钮，标签，行编辑器，实现快递速运登录页面 #include "mywidget.h"MyWidget::MyWidget(QWidget *parent): QWidget(parent) {//窗口//设置窗口的标题this->setWindowTitle("邮递系统")…
阅读更多...
蚂蚁AL1 15.6T 创新科技的新典范

蚂蚁AL1 15.6T 创新科技的新典范

● 哈希率：算力达到15.6T（相当于15600G），即每秒能够进行15.6万亿次哈希计算，在同类产品中算力较为出色，能提高WA掘效率。 ● 功耗：功耗为3510W，虽然数值看似不低，但结合其…
阅读更多...
内存泄漏之如何使用Visual Studio的调试工具跟踪内存泄漏？

内存泄漏之如何使用Visual Studio的调试工具跟踪内存泄漏？

使用Visual Studio的调试工具跟踪内存泄漏是一个系统性的过程，主要包括启用内存泄漏检测、运行程序、分析内存使用情况以及定位泄漏源等步骤。 Visual Studio提供了多种方式来检测内存泄漏，你可以根据自己的需求选择合适的方法。 注意：下面…
阅读更多...
【TiDB】10-对 TiDB 进行 TPC-C 测试

【TiDB】10-对 TiDB 进行 TPC-C 测试

目录 1、安装bench工具 2、插入数据 3、运行测试 4、测试结果分析 4.1、总体性能概览 4.2、事务类型详细性能 4.3、错误事务分析 4.4、结论与建议 5、清理测试数据 TPC-C 是一个对 OLTP（联机交易处理）系统进行测试的规范，使用一个商…
阅读更多...
大数据技术—— Clickhouse安装

大数据技术—— Clickhouse安装

目录 第一章 ClickHouse入门 1.1 ClickHouse的特点 1.1.1 列式存储 1.1.2 DBMS的功能 1.1.3 多样化引擎 1.1.4 高吞吐写入能力 1.1.5 数据分区与线程级并行 1.1.6 性能对比 第二章 ClickHouse的安装 2.1 准备工作 2.1.1 确定防火墙处于关闭状态 2.1.2 CentOS取消…
阅读更多...
论文阅读笔记：ST-MetaNet-1

论文阅读笔记：ST-MetaNet-1

目录 前言 摘要 CCS 关键词 介绍 时空相关性的复杂组合 空间相关性 时间相关性 时空相关性的多样性 本篇博客结语 前言 读这篇论文边读边学，每天坚持发博客，看到哪学到哪，这系列文章既有翻译，又有深度详细解释&#xff…
阅读更多...
2024开源资产管理系统推荐 8款免费开源IT资产管理系统/软件

2024开源资产管理系统推荐 8款免费开源IT资产管理系统/软件

开源资产管理系统 开源资产管理系统是帮助企业管理、跟踪和优化其资产的强大工具。这些系统能够自动记录资产的详细信息，如采购日期、使用情况、维护记录等，从而实现资产的全生命周期管理。企业可以通过这些系统优化资产使用效率，减少资产闲…
阅读更多...
【瑞芯微RV1126(深度学习模型部署)】部署自己训练的yolov8-seg，实现足型检测！

【瑞芯微RV1126(深度学习模型部署)】部署自己训练的yolov8-seg，实现足型检测！

前言 如果按照本系列第一篇博客那样交叉编译了opencv，那本文有些步骤就不用了，比如交叉编译工具链的下载，所以自己斟酌步骤。 本系列第一篇：https://blog.csdn.net/m0_71523511/article/details/139636367 本系列第二篇&#xff…
阅读更多...
数字化转型底座-盘古信息IMS OS，可支撑构建MES/WMS/QCS/IoT等工业软件

数字化转型底座-盘古信息IMS OS，可支撑构建MES/WMS/QCS/IoT等工业软件

在当今这个数字化浪潮汹涌的时代，众多企业纷纷踏上数字化转型之路。对于部分想自研工业软件的企业来说，一个强大、灵活且可扩展的数字化底座显得尤为重要。盘古信息IMS OS，，正是这样一款能够支撑构建MES（制造执行系统&…
阅读更多...
井字棋游戏（HTML+CSS+JavaScript）

井字棋游戏（HTML+CSS+JavaScript）

🌏个人博客主页：心.c 前言：这两天在写植物大战僵尸，写不动了，现在和大家分享一下之前我写的一个很简单的小游戏井字棋，这个没有AI，可以两个人一起玩，如果大家觉得我哪里写的有一些问…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023