Python爬虫的requests（学习于b站尚硅谷）

目录

  • 一、requests
    •   1. requests的基本使用
      •   （1）文档
      •   （2）安装
      •   （3）响应response的属性以及类型
      •   （4）代码演示
    •   2.requests之get请求
    •   3. requests之post请求
      •   （1）演示示例-爬取百度翻译
      •   （2）get和post区别
    •   4. requests之代理
    •   5. requests之cookie登陆古诗文网（含在程序端输入验证码、隐藏域反爬、session）
    •   6. requests_超级鹰打码平台的使用

  说明：该文章是学习 尚硅谷在B站上分享的视频 Python爬虫教程小白零基础速通的 p51-104而记录的笔记，笔记来源于本人，关于python基础可以去CSDN上阅读本人学习黑马程序员的笔记。 若有侵权，请联系本人删除。笔记难免可能出现错误或笔误，若读者发现笔记有错误，欢迎在评论里批评指正。 请合法合理使用爬虫，不爬取任何涉密以及涉及隐私的内容，合理控制请求次数，爬取的内容未经授权请不要用于商用，保护自己，免受牢狱之灾。
在这里插入图片描述
在这里插入图片描述

  本章将学习requests，首先，requests和urllib的作用几乎一模一样。但是，在处理某些页面时，requests会更加方便、更加简单、更加强大。这里用表格对比一下urllib以及requests学习的内容。

方法urllibrequests
主要内容一个类型以及六个方法
get请求
post请求 百度翻译
ajax的get请求
ajax的post请求
cookie登陆 微博
代理		一个类型以及六个属性
get请求
post请求
代理
cookie
验证码

一、requests

  1. requests的基本使用

  （1）文档

官方文档https://requests.readthedocs.io/projects/cn/zh_CN/latest/
快速上手https://requests.readthedocs.io/projects/cn/zh_CN/latest/user/quickstart.html

  官方文档内容比较多，快速上手的文档里面就是一些基本使用、基本操作。
在这里插入图片描述
在这里插入图片描述

  （2）安装

安装命令：pip install requests -i https://pypi.mirrors.ustc.edu.cn/simple/

  安装具体步骤：如下图，先打开“命令提示符”。
在这里插入图片描述
  然后在命令提示符里安装requests。
在这里插入图片描述

  （3）响应response的属性以及类型

类型models.Response
r.text获取网站源码
r.encoding访问或定制编码方式
r.url获取请求的url
r.content响应的字节类型
r.status_code响应的状态码
r.headers响应的头信息

  （4）代码演示

  创建文件夹“爬虫的requests”。
在这里插入图片描述
  创建文件“084_requests的基本使用.py”。
在这里插入图片描述
  如下编程，发现requests的响应的类型为Response，这和urllib不一样，在之前的学习中我们知道urllib返回的响应的类型为HTTPResponse。

"""
requests的基本使用
"""
import requestsurl = 'http://www.baidu.com'
# 访问网址并接收产生的响应
response = requests.get(url)# 一个类型和六个属性
# Response类型
print(f"respons的类型：{type(response)}")

在这里插入图片描述
  如下编程，发现如果不设置编码格式，获取的网页源码会有乱码出现。

"""
requests的基本使用
"""
import requestsurl = 'http://www.baidu.com'
# 访问网址并接收产生的响应
response = requests.get(url)# 一个类型和六个属性
# Response类型
print(f"respons的类型：{type(response)}")# (1)以字符串的形式返回网页源码
print(f"response.text的内容:{response.text}")

在这里插入图片描述
  如下，设置编码格式为’UTF-8’后，就没有乱码了。
在这里插入图片描述
  继续编程，熟悉其他4个类型。

"""
requests的基本使用
"""
import requestsurl = 'http://www.baidu.com'
# 访问网址并接收产生的响应
response = requests.get(url)# 一个类型和六个属性
# Response类型
# print(f"respons的类型：{type(response)}")# # (2)设置响应的编码格式
# response.encoding = 'UTF-8'# # (1)以字符串的形式返回网页源码
# print(f"response.text的内容:{response.text}")# (3)返回一个url地址
print(f"response.url返回的内容：{response.url}")# (4)返回二进制数据
print(f"response.content返回的内容：{response.content}")# (5)返回响应的状态码
print(f"response.status_code返回的内容：{response.status_code}")# (6)返回的是请求头
print(f"response.headers返回的内容：{response.headers}")

在这里插入图片描述

  2.requests之get请求

  如下图，本次需要获取“https://www.baidu.com/s?wd=北京”的网页源码，但是“北京”存在编码问题，需要在代码中进行处理。
在这里插入图片描述
  创建文件“085_requests之get请求.py”。
在这里插入图片描述
  如下编程并运行（注：下面代码需要在请求头中加Cookie才能没有百度的安全验证）。
在这里插入图片描述

"""
requests之get请求
"""
import requestsurl = 'https://www.baidu.com/s?'
# 请求头
headers = {'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWeb-Kit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
data = {'wd': '北京'
}# url       请求资源路径
# params    参数
# kwargs    字典
response = requests.get(url=url, params=data, headers=headers)
response.encoding = 'UTF-8'
content = response.textprint(content)# 总结：
# (1)参数使用params传递
# (2)参数无需urlencode编码
# (3)不需要请求对象的定制
# (4)请求资源路径中的？可以加，也可以不加

在这里插入图片描述

  3. requests之post请求

  （1）演示示例-爬取百度翻译

  如下图，寻找百度翻译的接口。首先打开百度翻译（“https://fanyi.baidu.com/”），打开检查，点击网络。然后随便输入一个单词，之后根据接口的负载找到对应的接口，发现它是一个post请求。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
  创建文件“086_requests之post请求.py”，并将接口的请求地址、参数复制过来。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
  如下编程并运行。

"""
requests之post请求
"""
import encodings.utf_8import requests
import jsonurl = 'https://fanyi.baidu.com/sug'
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
data = {'kw': 'eye'
}response = requests.post(url=url, data=data, headers=headers)
content = response.text
# print(content)  # 测试代码，验证是否获取到网页源码obj = json.loads(content)
print(obj)# 总结：
# （1）post请求  是不需要编解码
# （2）post请求的参数是data
# （3）不需要请求对象的定制

在这里插入图片描述

  （2）get和post区别

①get请求的参数名字是params post请求的参数的名字是data
②get请求资源路径后面可以不加？
③不需要手动编解码
④不需要做请求对象的定制

  4. requests之代理

  requests的代理和urllib的代理都差不多，主要都是想解决当我们在模拟浏览器向服务器发送请求时，我们在短时间内快速、高频次访问某个网站面临ip被封的问题。
  本次将保存搜索“ip”这一页的网页源码，再使用快代理使用国内其他省份的ip（试了，快代理上的免费ip没用，失败了。本人穷鬼一个，没钱，就不去花钱来演示了），具体步骤如下。
  先直接在百度上搜索“ip”,删去网址中含广告的部分后，剩余“https://www.baidu.com/s?wd=ip”。
在这里插入图片描述
  创建文件“087_requests之代理.py”。
在这里插入图片描述
  先如下编程，保存搜索“ip”这一页的网页源码，可以查到本人当前ip地址属于中国重庆。

"""
requests之代理
"""
import requestsurl = 'https://www.baidu.com/s?'
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
data = {'wd': 'ip'
}
response = requests.get(url=url, params=data, headers=headers)content = response.textwith open('代理.html', 'w', encoding='UTF-8') as fp:fp.write(content)

在这里插入图片描述在这里插入图片描述
  如下图，打开快代理的官网，试一试免费代理的ip。
在这里插入图片描述
  继续编程，使用快代理的免费“ip”,发现不好用，切换失败。如果家里有条件，可以去买个ip来试。

"""
requests之代理
"""
import requestsurl = 'https://www.baidu.com/s?'
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
data = {'wd': 'ip'
}# 设置其他ip
proxy={'http':'58.20.184.187:9091'
}response = requests.get(url=url, params=data, headers=headers,proxies=proxy)content = response.textwith open('代理.html', 'w', encoding='UTF-8') as fp:fp.write(content)

  5. requests之cookie登陆古诗文网（含在程序端输入验证码、隐藏域反爬、session）

  进入本次演示以前，本人先声明一下：学习爬虫的小伙伴们，如果有人想绕过网站的登陆系统，直接进入需要登陆才有的网页数据，请规范好自己的行为。维护网站的人员通过该行为来访问自己的网站，建立反爬机制是没有问题的，非内部人员就不好说了。另外，爬虫技术和图像识别等技术，单独学习使用是没有问题的，但通过结合来使用爬虫绕过登陆系统的行为是否存在问题，还请自行思考。本次的演示是从程序端老老实实的输入验证码，并没有绕过登陆系统，不存在可能出现的违规行为。
在这里插入图片描述
  如下图，进入古诗词网（“https://www.gushiwen.cn/”），点击“我的”，发现有一登陆页面。本次演示需要通过程序端输入账号和密码，然后在程序端填写验证码并登陆。
在这里插入图片描述
  如下图，先注册一账号以便程序使用（本人使用的是临时邮箱，不用打码了）。
在这里插入图片描述在这里插入图片描述
  创建文件“088_requests之cookie登陆古诗文网（含验证码）.py”。
在这里插入图片描述
  如下图，寻找登陆接口。打开检查，点击网络，清空列表，输入正确邮箱、错误密码、正确验证码，点击登陆，然后保持住浏览器的网页不要动。
在这里插入图片描述
  在含有登陆英文login的接口里寻找登陆接口，发现某一接口里含登陆名、密码、验证码，说明它正是我们需要找的登陆接口，然后将参数复制到PyCharm中，然后进行思考实现我们的需求需要怎么做。
在这里插入图片描述在这里插入图片描述
  如下图所示，点击确定，回到登陆页面，在网页源码中寻找到其中两个参数。
在这里插入图片描述在这里插入图片描述
在这里插入图片描述
  如下操作，找到需要的网页源码的请求地址，并复制到PyCharm中。
在这里插入图片描述在这里插入图片描述
  如下编程，获取网页源码，并使用快捷键Ctr+F去搜一下，确定有无需要的数据。

"""
cookie登陆古诗文网（含验证码）
"""
# 通过登陆  然后进入到主页面# 通过找登陆接口我们发现 登陆的时候需要的参数很多
# __VIEWSTATE: wzavkIiUpeGeXT-Gu4jEWSBcHAneSt4SJdDa3y/PEP5sDZuLEWgE1r37kEQzlJ/pVVbYYMe7vrMvtm3NUmkX2KGAuPYULzyiZDcfhry5nbmFCtGY/RrDbqJIDMu0KDOYRMeQRs/Xwv2vH/1ZpkEoSK0lGoA0=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: cney6tcn@linshiyouxiang.net
# pwd: 8YW8GYET78933ETR
# code: 32GV
# denglu: 登录# 我们观察到_VIEWSTATE   __VIEWSTATEGENERATOR  code是一个可以变化的量# 难点:(1)_VIEWSTATE   __VIEWSTATEGENERATOR  一般情况看不到的数据 都是在页面的源码中
#     我们观察到这两个数据在页面的源码中 所以我们需要获取页面的源码 然后进行解析就可以获取了
#     (2)验证码import requests# 这是登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.a'headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
response = requests.get(url=url, headers=headers)
content = response.text
print(content)  # 测试代码，验证能否获取网页源码

在这里插入图片描述
  如下图，根据检查里的元素思考寻找其中两个变量的参数的方法。
在这里插入图片描述
  如下编程，成功获取这两个变量的参数（“_VIEWSTATE”需改为“__VIEWSTATE”,笔误）。

"""
cookie登陆古诗文网（含验证码）
"""
# 通过登陆  然后进入到主页面# 通过找登陆接口我们发现 登陆的时候需要的参数很多
# __VIEWSTATE: wzavkIiUpeGeXT-Gu4jEWSBcHAneSt4SJdDa3y/PEP5sDZuLEWgE1r37kEQzlJ/pVVbYYMe7vrMvtm3NUmkX2KGAuPYULzyiZDcfhry5nbmFCtGY/RrDbqJIDMu0KDOYRMeQRs/Xwv2vH/1ZpkEoSK0lGoA0=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: cney6tcn@linshiyouxiang.net
# pwd: 8YW8GYET78933ETR
# code: 32GV
# denglu: 登录# 我们观察到__VIEWSTATE   __VIEWSTATEGENERATOR  code是一个可以变化的量# 难点:(1)__VIEWSTATE   __VIEWSTATEGENERATOR  一般情况看不到的数据 都是在页面的源码中
#     我们观察到这两个数据在页面的源码中 所以我们需要获取页面的源码 然后进行解析就可以获取了
#     (2)验证码import requests
from bs4 import BeautifulSoup# 这是登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.a'headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
response = requests.get(url=url, headers=headers)
content = response.text
# print(content)  # 测试代码，验证能否获取网页源码# 解析页面源码  然后获取__VIEWSTATE   __VIEWSTATEGENERATOR
soup = BeautifulSoup(content, 'lxml')# 获取__VIEWSTATE
# .select返回列表，需用切片取出对应标签      .attrs.get获取属性值
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')# 获取__VIEWSTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')print(viewstate)
print(viewstategenerator)

在这里插入图片描述
  接下来还需要寻找验证码。如图，点击验证码，右击选择检查，将鼠标放在src处等待一会，观察后发现，可根据id找到验证码的图片链接的参数，说明验证码图片链接需要拼接。
在这里插入图片描述在这里插入图片描述
  如下编程，成功获取到验证码图片的url。

"""
cookie登陆古诗文网（含验证码）
"""
# 通过登陆  然后进入到主页面# 通过找登陆接口我们发现 登陆的时候需要的参数很多
# __VIEWSTATE: wzavkIiUpeGeXT-Gu4jEWSBcHAneSt4SJdDa3y/PEP5sDZuLEWgE1r37kEQzlJ/pVVbYYMe7vrMvtm3NUmkX2KGAuPYULzyiZDcfhry5nbmFCtGY/RrDbqJIDMu0KDOYRMeQRs/Xwv2vH/1ZpkEoSK0lGoA0=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: cney6tcn@linshiyouxiang.net
# pwd: 8YW8GYET78933ETR
# code: 32GV
# denglu: 登录# 我们观察到__VIEWSTATE   __VIEWSTATEGENERATOR  code是一个可以变化的量# 难点:(1)__VIEWSTATE   __VIEWSTATEGENERATOR  一般情况看不到的数据 都是在页面的源码中
#     我们观察到这两个数据在页面的源码中 所以我们需要获取页面的源码 然后进行解析就可以获取了
#     (2)验证码import requests
from bs4 import BeautifulSoup# 这是登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.a'headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
response = requests.get(url=url, headers=headers)
content = response.text
# print(content)  # 测试代码，验证能否获取网页源码# 解析页面源码  然后获取__VIEWSTATE   __VIEWSTATEGENERATOR
soup = BeautifulSoup(content, 'lxml')# 获取__VIEWSTATE
# .select返回列表，需用切片取出对应标签      .attrs.get获取属性值
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')# 获取__VIEWSTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')# print(viewstate)  # 测试代码，验证是否获取到__VIEWSTATE的参数
# print(viewstategenerator)  # 测试代码，验证是否获取到__VIEWSTATEGENERATOR的参数# 获取验证码图片
code_url_para = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn/' + code_url_para
print(code_url)  # 测试代码，验证是否获取到验证码的图片的url

在这里插入图片描述
  如之前所说的，通过输入正确邮箱、错误密码、正确验证码，点击登陆，来寻找登陆接口，然后将接口的请求地址复制到PyCharm中。
在这里插入图片描述
  如下编程，发现直接获取验证码，然后在程序端输入验证码后登不进去。这是因为“urllib.request.urlretrieve”下载图片提交的请求和“requests.post”提交的请求不是同一个导致的，requests.post”提交的请求时验证码已经改变。

"""
cookie登陆古诗文网（含验证码）
"""
# 通过登陆  然后进入到主页面# 通过找登陆接口我们发现 登陆的时候需要的参数很多
# __VIEWSTATE: wzavkIiUpeGeXT-Gu4jEWSBcHAneSt4SJdDa3y/PEP5sDZuLEWgE1r37kEQzlJ/pVVbYYMe7vrMvtm3NUmkX2KGAuPYULzyiZDcfhry5nbmFCtGY/RrDbqJIDMu0KDOYRMeQRs/Xwv2vH/1ZpkEoSK0lGoA0=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: cney6tcn@linshiyouxiang.net
# pwd: 8YW8GYET78933ETR
# code: 32GV
# denglu: 登录# 我们观察到__VIEWSTATE   __VIEWSTATEGENERATOR  code是一个可以变化的量# 难点:(1)__VIEWSTATE   __VIEWSTATEGENERATOR  一般情况看不到的数据 都是在页面的源码中
#     我们观察到这两个数据在页面的源码中 所以我们需要获取页面的源码 然后进行解析就可以获取了
#     (2)验证码import requests
from bs4 import BeautifulSoup
import urllib.request# 这是登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.a'headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
response = requests.get(url=url, headers=headers)
content = response.text
# print(content)  # 测试代码，验证能否获取网页源码# 解析页面源码  然后获取__VIEWSTATE   __VIEWSTATEGENERATOR
soup = BeautifulSoup(content, 'lxml')# 获取__VIEWSTATE
# .select返回列表，需用切片取出对应标签      .attrs.get获取属性值
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')# 获取__VIEWSTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')# print(viewstate)  # 测试代码，验证是否获取到__VIEWSTATE的参数
# print(viewstategenerator)  # 测试代码，验证是否获取到__VIEWSTATEGENERATOR的参数# 获取验证码图片
code_url_para = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn/' + code_url_para
# print(code_url)  # 测试代码，验证是否获取到验证码的图片的url# 有坑
# 在浏览器的检查的网络里找登陆接口时，如果不勾选检查的网络里的保留日志
# 且输入正确的名字、正确的密码、正确的验证码并登陆后，老版浏览器或者可能别的浏览器会
# 出现登陆接口会消失的情况，  进而导致无法寻找到登陆接口
urllib.request.urlretrieve(url=code_url, filename='code.jpg')# 获取了验证码的图片之后 下载到本地 然后观察验证码 观察之后 然后在控制台输入这个验证码
# 就可以捋这个值给code的参数 就可以登陆
code_name = input('请输入你的验证码')# 点击登陆
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data_post = {'__VIEWSTATE': viewstate,'__VIEWSTATEGENERATOR': viewstategenerator,'from': 'http://so.gushiwen.cn/user/collect.aspx','email': 'cney6tcn@linshiyouxiang.net','pwd': 'u89w7829e',  # 此处请输入正确的密码'code': code_name,'denglu': '登录',
}response_post = requests.post(url=url_post, headers=headers, data=data_post)
content_post=response_post.textwith open('古诗文.html','w',encoding='UTF-8') as fp:fp.write(content_post)

在这里插入图片描述
  删去文件“code.jpg”和“古诗文.html”。
在这里插入图片描述
  如下编程并运行，成功登陆网页。

"""
cookie登陆古诗文网（含验证码）
"""
# 通过登陆  然后进入到主页面# 通过找登陆接口我们发现 登陆的时候需要的参数很多
# __VIEWSTATE: wzavkIiUpeGeXT-Gu4jEWSBcHAneSt4SJdDa3y/PEP5sDZuLEWgE1r37kEQzlJ/pVVbYYMe7vrMvtm3NUmkX2KGAuPYULzyiZDcfhry5nbmFCtGY/RrDbqJIDMu0KDOYRMeQRs/Xwv2vH/1ZpkEoSK0lGoA0=
# __VIEWSTATEGENERATOR: C93BE1AE
# from: http://so.gushiwen.cn/user/collect.aspx
# email: cney6tcn@linshiyouxiang.net
# pwd: 8YW8GYET78933ETR
# code: 32GV
# denglu: 登录# 我们观察到__VIEWSTATE   __VIEWSTATEGENERATOR  code是一个可以变化的量# 难点:(1)__VIEWSTATE   __VIEWSTATEGENERATOR  一般情况看不到的数据 都是在页面的源码中
#     我们观察到这两个数据在页面的源码中 所以我们需要获取页面的源码 然后进行解析就可以获取了
#     (2)验证码import requests
from bs4 import BeautifulSoup
import urllib.request# 这是登陆页面的url地址
url = 'https://so.gushiwen.cn/user/login.aspx?from=http://so.gushiwen.cn/user/collect.a'headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) Ap-pleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Mobile Safari/537.36 Edg/115.0.1901.200',
}
response = requests.get(url=url, headers=headers)
content = response.text
# print(content)  # 测试代码，验证能否获取网页源码# 解析页面源码  然后获取__VIEWSTATE   __VIEWSTATEGENERATOR
soup = BeautifulSoup(content, 'lxml')# 获取__VIEWSTATE
# .select返回列表，需用切片取出对应标签      .attrs.get获取属性值
viewstate = soup.select('#__VIEWSTATE')[0].attrs.get('value')# 获取__VIEWSTATEGENERATOR
viewstategenerator = soup.select('#__VIEWSTATEGENERATOR')[0].attrs.get('value')# print(viewstate)  # 测试代码，验证是否获取到__VIEWSTATE的参数
# print(viewstategenerator)  # 测试代码，验证是否获取到__VIEWSTATEGENERATOR的参数# 获取验证码图片
code_url_para = soup.select('#imgCode')[0].attrs.get('src')
code_url = 'https://so.gushiwen.cn/' + code_url_para
# print(code_url)  # 测试代码，验证是否获取到验证码的图片的url# 有坑
# (1)在浏览器的检查的网络里找登陆接口时，如果不勾选检查的网络里的保留日志
# 且输入正确的名字、正确的密码、正确的验证码并登陆后，老版浏览器或者可能别的浏览器会
# 出现登陆接口会消失的情况，  进而导致无法寻找到登陆接口
# (2)“urllib.request.urlretrieve”下载图片提交的请求和“requests.post”提交的请求不是同一个，
# 会导致“requests.post”提交的请求时，程序端输入的验证码失效
# requests里面有一个方法 session()  通过session的返回值 就能使用请求变成一个对象
# urllib.request.urlretrieve(url=code_url, filename='code.jpg')
session = requests.session()
# 验证码的url的内容
response_code = session.get(code_url)
# 注意此时要使用二进制数据，通过二进制下载图片
content_code = response_code.content
# wb的模式就是将二进制数据写入到文件
with open('code.jpg', 'wb') as fp:fp.write(content_code)# 获取了验证码的图片之后 下载到本地 然后观察验证码 观察之后 然后在控制台输入这个验证码
# 就可以捋这个值给code的参数 就可以登陆
code_name = input('请输入你的验证码')# 点击登陆
url_post = 'https://so.gushiwen.cn/user/login.aspx?from=http%3a%2f%2fso.gushiwen.cn%2fuser%2fcollect.aspx'
data_post = {'__VIEWSTATE': viewstate,'__VIEWSTATEGENERATOR': viewstategenerator,'from': 'http://so.gushiwen.cn/user/collect.aspx','email': 'cney6tcn@linshiyouxiang.net','pwd': 'u89w7829e',  # 此处请输入正确的密码'code': code_name,'denglu': '登录',
}response_post = session.post(url=url_post, headers=headers, data=data_post)
content_post = response_post.textwith open('古诗文.html', 'w', encoding='UTF-8') as fp:fp.write(content_post)# 难点
# （1） 隐藏域
# （2） 验证码

在这里插入图片描述
  如果不再使用该网站的账号，可以删除该账号。
在这里插入图片描述在这里插入图片描述在这里插入图片描述

  6. requests_超级鹰打码平台的使用

  本次将演示如何使用超级鹰打码平台来识别验证码。如下图所示，打开超级鹰平台（“http://www.chaojiying.com/”），然后点击开发文档，找到并点击“超级鹰图像识别Python语言Demo下载”，然后选择“点击这里下载”。
在这里插入图片描述
  然后解压下载的文件，将其中的两个文件（即“a.jpg”和“chaojiying.py”）复制到PyCharm的文件夹“爬虫的requests”中，然后可以打开这两个文件浏览一下有哪些内容。
在这里插入图片描述在这里插入图片描述
  然后在网站中可以使用一个临时邮箱注册，如果有需要的可以使用长久邮箱注册。
在这里插入图片描述在这里插入图片描述
  如下图，注册后会自动登陆，然后点击“软件ID”，去生成一个ID。
在这里插入图片描述在这里插入图片描述在这里插入图片描述
  再将ID复制到PyCharm中，并在代码的对应位置输入账号和密码，print处也要加括号。
在这里插入图片描述在这里插入图片描述
  如下所示编程，按理说能够发现该代码能够获取图片的验证码，可是超级鹰需要题分，即需要关注以及充钱之类的，这个，本人没钱。
在这里插入图片描述

#!/usr/bin/env python
# coding:utf-8import requests
from hashlib import md5class Chaojiying_Client(object):def __init__(self, username, password, soft_id):self.username = usernamepassword =  password.encode('utf8')self.password = md5(password).hexdigest()self.soft_id = soft_idself.base_params = {'user': self.username,'pass2': self.password,'softid': self.soft_id,}self.headers = {'Connection': 'Keep-Alive','User-Agent': 'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Tri-dent/4.0)',}def PostPic(self, im, codetype):"""im: 图片字节codetype: 题目类型 参考 http://www.chaojiying.com/price.html"""params = {'codetype': codetype,}params.update(self.base_params)files = {'userfile': ('ccc.jpg', im)}r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', da-ta=params, files=files, headers=self.headers)return r.json()def PostPic_base64(self, base64_str, codetype):"""im: 图片字节codetype: 题目类型 参考 http://www.chaojiying.com/price.html"""params = {'codetype': codetype,'file_base64':base64_str}params.update(self.base_params)r = requests.post('http://upload.chaojiying.net/Upload/Processing.php', da-ta=params, headers=self.headers)return r.json()def ReportError(self, im_id):"""im_id:报错题目的图片ID"""params = {'id': im_id,}params.update(self.base_params)r = requests.post('http://upload.chaojiying.net/Upload/ReportError.php', da-ta=params, headers=self.headers)return r.json()if __name__ == '__main__':chaojiying = Chaojiying_Client('nvoau092bfk', 'u89w7829e', '951546')    #用户中心>>软件ID 生成一个替换 96001im = open('a.jpg', 'rb').read()                                     #本地图片文件路径 来替换 a.jpg 有时WIN系统须要//print(chaojiying.PostPic(im, 1902).get('pic_str'))                                   #1902 验证码类型  官方网站>>价格体系 3.4+版 print 后要加()#print chaojiying.PostPic(base64_str, 1902)  #此处为传入 base64代码

  好了，本章的笔记到此结束，谢谢大家阅读。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/94114.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2023国赛数学建模思路 - 复盘：人力资源安排的最优化模型

2023国赛数学建模思路 - 复盘：人力资源安排的最优化模型

文章目录 0 赛题思路1 描述2 问题概括3 建模过程3.1 边界说明3.2 符号约定3.3 分析3.4 模型建立3.5 模型求解 4 模型评价与推广5 实现代码 建模资料 0 赛题思路 （赛题出来以后第一时间在CSDN分享） https://blog.csdn.net/dc_sinor?typeblog 1 描述 …
阅读更多...
UE4/UE5 照明构建失败 “Lightmass crashed”解决“数组索引越界”

UE4/UE5 照明构建失败 “Lightmass crashed”解决“数组索引越界”

在构建全局光照时,经常会出现“Lightmass crashed”的错误,导致光照构建失败。本文将分析这一问题的原因,并给出解决建议。 UE4 版本4.26 报错如下&#xff1a; <None> Lightmass crashed: Assertion failed: (Index > 0) & (Index < ArrayNum) [File:d:\bu…
阅读更多...
边缘计算：下一代计算模式的突破

边缘计算：下一代计算模式的突破

章节一&#xff1a;引言 随着物联网、人工智能和大数据等技术的不断发展&#xff0c;计算需求变得越来越复杂&#xff0c;传统的云计算模式已经难以满足快速增长的数据处理需求。在这样的背景下&#xff0c;边缘计算作为一种全新的计算模式崭露头角&#xff0c;为我们带来了更加…
阅读更多...
干翻Dubbo系列第十一篇：Dubbo常见协议与通信效率对比

干翻Dubbo系列第十一篇：Dubbo常见协议与通信效率对比

文章目录 文章说明 一&#xff1a;协议 1&#xff1a;什么是协议 2&#xff1a;协议和序列化关系 3&#xff1a;协议组成 &#xff08;一&#xff09;&#xff1a;头信息 &#xff08;二&#xff09;&#xff1a;体信息 4&#xff1a;Dubbo3中常见的协议 5&#xff1a;…
阅读更多...
Linux系统管理：虚拟机ESXi安装

Linux系统管理：虚拟机ESXi安装

目录 一、理论 1.VMware Workstation 2.VMware vSphere Client 3.ESXi 二、实验 1.ESXi 7安装 一、理论 1.VMware Workstation 它是一款专业的虚拟机软件&#xff0c;可以在一台物理机上运行多个操作系统&#xff0c;支持Windows、Linux等操作系统&#xff0c;可以模拟…
阅读更多...
Prometheus流程图(自绘)-核心组件-流程详解

Prometheus流程图(自绘)-核心组件-流程详解

阿丹手绘流程图&#xff1a;图片可能有点小查看的时候放大看看哈&#xff01; prometheus核心组件 prometheus server Prometheus Server是Prometheus组件中的核心部分&#xff0c;负责实现对监控数据的获取&#xff0c;存储以及查询。Prometheus Server可以通过静态配置管理…
阅读更多...
tauri-vue：快速开发跨平台软件的架子，支持自定义头部UI拖拽移动和窗口阴影效果

tauri-vue：快速开发跨平台软件的架子，支持自定义头部UI拖拽移动和窗口阴影效果

Tauri Vue Typescript 一个使用 taurivuets 开发跨平台软件的模板&#xff0c;支持窗口头部自定义 UI 和拖拽和窗口阴影&#xff0c;不用再自己做适配了&#xff0c;拿来即用&#xff0c;非常 nice。而且已经封装好了 tauri 的 http 请求工具&#xff0c;省去很多弯路。开源…
阅读更多...
并发编程系列-Semaphore

并发编程系列-Semaphore

Semaphore&#xff0c;如今通常被翻译为"信号量"&#xff0c;过去也曾被翻译为"信号灯"&#xff0c;因为类似于现实生活中的红绿灯&#xff0c;车辆是否能通行取决于是否是绿灯。同样&#xff0c;在编程世界中&#xff0c;线程是否能执行取决于信号量是否允…
阅读更多...
基于php驾校驾驶理论考试模拟系统

基于php驾校驾驶理论考试模拟系统

驾校驾驶理论考试模拟系统&#xff0c;是基于php编程语言&#xff0c;mysql数据库进行开发&#xff0c;本系统分为用户和管理员两个角色&#xff0c;其中用户可以注册登陆系统&#xff0c;查看考试规则&#xff0c;进行驾照考试&#xff0c;查看考试得分&#xff0c;考试错题&a…
阅读更多...
网络

网络

mcq Java 传输层&#xff1a;拆分和组装&#xff0c;完成端到端的消息传递&#xff0c;流量控制&#xff0c;差错控制等 网络层&#xff1a; 寻址、路由&#xff0c;复用&#xff0c;拥塞控制&#xff0c;完成源到宿的传递。 显然A选项是错误的&#xff0c;有流量控制的是传输层…
阅读更多...
力扣：61. 旋转链表（Python3）

力扣：61. 旋转链表（Python3）

题目&#xff1a; 给你一个链表的头节点 head &#xff0c;旋转链表&#xff0c;将链表每个节点向右移动 k 个位置。 来源&#xff1a;力扣&#xff08;LeetCode&#xff09; 链接&#xff1a;力扣&#xff08;LeetCode&#xff09;官网 - 全球极客挚爱的技术成长平台 示例&…
阅读更多...
力扣221.最大正方形（动态规划）

力扣221.最大正方形（动态规划）

思路&#xff1a; 思路&#xff1a;从[0,0]元素开始&#xff0c;计算每个元素对应其与[0,0]之间矩阵块中最大正方形边长情况&#xff1a;1&#xff09;matrix [ i , j ] ‘0’ --> 元素对应的最大正方形为0。情况&#xff1a;2&#xff09;matrix [ i , j ] ‘1’ -->…
阅读更多...
当速度很重要时：使用 Hazelcast 和 Redpanda 进行实时流处理

当速度很重要时：使用 Hazelcast 和 Redpanda 进行实时流处理

在本教程中&#xff0c;了解如何构建安全、可扩展、高性能的应用程序&#xff0c;以释放实时数据的全部潜力。 在本教程中&#xff0c;我们将探索 Hazelcast 和 Redpanda 的强大组合&#xff0c;以构建对实时数据做出反应的高性能、可扩展和容错的应用程序。 Redpanda 是一个流…
阅读更多...
openCV使用c#操作摄像头

openCV使用c#操作摄像头

效果如下&#xff1a; 1.创建一个winform的窗体项目&#xff08;框架.NET Framework 4.7.2&#xff09; 2.Nuget引入opencv的c#程序包&#xff08;版本最好和我一致&#xff09; 3.后台代码 using System; using System.Collections.Generic; using System.ComponentModel;…
阅读更多...
LeetCode算法心得——限制条件下元素之间的最小绝对差（TreeSet）

LeetCode算法心得——限制条件下元素之间的最小绝对差（TreeSet）

大家好&#xff0c;我是晴天学长&#xff0c;今天用到了Java一个非常实用的类TreeSet&#xff0c;能解决一些看起来棘手的问题。 1 &#xff09;限制条件下元素之间的最小绝对差 2) .算法思路 初始化变量&#xff1a;n为列表nums的大小。 min为整型最大值&#xff0c;用于记录…
阅读更多...
讯飞星火、文心一言和通义千问同时编“贪吃蛇”游戏，谁会胜出？

讯飞星火、文心一言和通义千问同时编“贪吃蛇”游戏，谁会胜出？

同时向讯飞星火、文心一言和通义千问三个国产AI模型提个相同的问题&#xff1a; “python 写一个贪吃蛇的游戏代码” 看哪一家AI写的程序直接能用&#xff0c;谁就胜出&#xff01; 讯飞星火 讯飞星火给出的代码&#xff1a; import pygame import sys import random# 初…
阅读更多...
k8s 认证和权限控制

k8s 认证和权限控制

k8s 的认证机制是啥&#xff1f; 说到 k8s 的认证机制&#xff0c;其实之前咋那么也有提到过 ServiceAccouont &#xff0c;以及相应的 token &#xff0c;证书 crt&#xff0c;和基于 HTTP 的认证等等 k8s 会使用如上几种方式来获取客户端身份信息&#xff0c;不限于上面几种…
阅读更多...
iPhone(iPad)安装deb文件

iPhone(iPad)安装deb文件

最简单的方法就是把deb相关的文件拖入手机对应的目录&#xff0c;一般是DynamicLibraries文件夹 参考&#xff1a;探讨手机越狱和安装deb文件的几种方式研究 1、在 Mac 上安装 dpkg 命令 打包 deb 教程之在 Mac 上安装 dpkg 命令_xcode打包root权限deb_qq_34810996的博客-CS…
阅读更多...
基于php动漫周边电商购物网站系统

基于php动漫周边电商购物网站系统

动漫周边电商网站系统&#xff0c;是基于php毕业设计&#xff0c;mysql数据库进行开发&#xff0c;本系统分为用户和管理员两个角色&#xff0c;其中用户可以注册登陆系统&#xff0c;用户查看商品分类&#xff0c;商品列表&#xff0c;查看动漫周边商品详情&#xff0c;加入购…
阅读更多...
【学习笔记之java】使用RestTemplate调用第三方接口

【学习笔记之java】使用RestTemplate调用第三方接口

1.首先需要导入依赖 <!-- RestTemplate使用导入的依赖--><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency>2.跟启动类同级创建…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023