【网络爬虫】(1) 网络请求，urllib库介绍

各位同学好，今天开始和各位分享一下python网络爬虫技巧，从基本的函数开始，到项目实战。那我们开始吧。

1. 基本概念

这里简单介绍一下后续学习中需要掌握的概念。

（1）http 和 https 协议。http是超文本传输，接收HTML页面的方法，服务器80端口。https是http协议的加密版本，服务端口是443端口。 

（2）URL 统一资源定位符。形如：scheme://host:port/path/?query-string=xxx#anchor

以 https://www.bilibili.com/video/BV1eT4y1Z7NB?p=3 为例

scheme：访问协议，一般为 http 或 https。

host：主机名，域名。上面的 www.bilibili.com

path：查找路径。video/BV1eT4y1Z7NB 就是 path

port：端口号，访问网站时浏览器默认 80 端口

query-string：查询字符串。如上面的 ?p=3，如有多个，用&分隔

anchor：锚点。后台不用管，是前端用来做页面定位的。相当于现在停留的位置是网页的第几个小节。

注：在浏览器中请求一个url，浏览器会对url进行编码。除英文字母，数字和部分符号外，其他全部使用百分号和十六进制码值进行编码。中文字词需要重新编码后再发送给服务器

（3）常用的请求方法

GET 请求。只从服务器获取数据下来（下载文件），并不会对服务器资源产生任何影响的时候使用GET请求。

POST 请求。向服务器发送数据（登录），上传文件等，会对服务器资源产生影响时使用POST请求

2. urllib 库

urllib 库是 python3 中自带的网络请求库，可以模拟浏览器的行为，向服务器发送一个请求，并可以保存服务器返回的数据。

2.1 urlopen 函数

用于打开一个远程的 url 连接，并且向这个连接发出请求，获取响应结果。返回的结果是一个 https 响应对象，这个响应对象中记录了本次 https 访问的响应头和响应体。

使用方法为：

urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False,context=None)

参数：

url： 需要打开的网址

data：字节流编码格式，可以用 urllib.parse.urlencode() 和 bytes() 方法转换参数格式，如果要设置了data参数，则请求方式为POST

timeout： 设置网站的访问超时时间，单位：秒。若不指定，则使用全局默认时间。若请求超时，则会抛出urllib.error.URLError异常。

返回值：

http.client.HTTPResponse对象： 返回类文件句柄对象，有read(size)，readline，readlines，getcode方法。read(size)若不指定size，则全部读出来。readline读取第一行。readlines返回值以多行的形式读出来。

getcode()： 获取响应状态。返回200，表示请求成功，返回404，表示网址未找到。

geturl()： 返回请求的url。

from urllib import request# 打开网站，返回响应对象resp
resp = request.urlopen('https://www.baidu.com')# 通过.read()读取这个网页的源代码，相当于在百度页面右键检查
print(resp.read())
# 返回网页信息print(resp.getcode())  #状态码
# 200

resp.read() 返回类似如下信息，这里只显示部分

b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));
\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;
url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

2.2 urlretrieve 函数

直接将远程数据下载到本地，方法如下：

rlretrieve(url, filename=None, reporthook=None, data=None)

参数：

url：下载链接地址

filename：指定了保存本地路径，若参数未指定，urllib 会生成一个临时文件保存数据。

reporthook：是一个回调函数，当连接上服务器、以及相应的数据块传输完毕时会触发该回调，我们可以利用这个回调函数来显示当前的下载进度。

data：指 POST 导服务器的数据，该方法返回一个包含两个元素的( filename，headers ) 元组，filename 表示保存到本地的路径，header 表示服务器的响应头

# 将百度的首页下载到本地
from urllib import request# 下载某一张图片，传入图像的url和保存路径
request.urlretrieve('https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fnimg.ws.126.net%2F%3Furl%3Dhttp%253A%252F%252Fdingyue.ws.126.net%252F2021%252F1010%252F90f82dafj00r0q72d001jc000hs009uc.jpg%26thumbnail%3D650x2147483647%26quality%3D80%26type%3Djpg&refer=http%3A%2F%2Fnimg.ws.126.net&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1642840179&t=888aee0d4f561d7238b290c9da876362', 'C:/Users/admin/Documents/Downloads/test1.jpg')# 下载成功后返回：
('C:/Users/admin/Documents/Downloads/test1.jpg',<http.client.HTTPMessage at 0x26b86c85a60>)

2.3 urlencode 函数

用浏览器发送请求时，如果 url 中包含了中文或其他特殊字符，那么浏览器会自动进行编码。

如果使用代码发送请求，必须手动进行编码，这时需要 urlencode 函数实现。urlencode 把字典数据转换为url编码的数据

方法如下：

urllib.parse.urlencode( 字典 )

下面，对张三使用%和十六进制重新编码，键和键之间使用&号连接，空格使用+号连接

from urllib import parse
# 自定义一个字典，后续用于重新编码
params = {'name':'张三','age':18, 'greet':'hello world'}
# 对字典编码
result = parse.urlencode(params)
print(result)
# 除英文和数字外都使用 %号和十六进制来编码# 打印结果
name=%E5%BC%A0%E4%B8%89&age=18&greet=hello+world

实际使用：

如果网址中有中文，需要先将中文从中分割出来，以字典的方式重新编码转换后，再拼接到网址中。

from urllib import parse# url = 'https://www.baidu.com/s?wd=周杰伦'  # 直接用于网络请求时，ascii码不能识别# 使用方法
url = 'https://www.baidu.com/s'# 定义一个字典
params = {'wd':'周杰伦'}
# 对中文编码
qs = parse.urlencode(params)
print(qs)  #打印编码结果# 拼接到网址url后面
url = url + '?' + qs
print(url)# 网络请求，得到网页中的数据
resp = request.urlopen(url)
print(resp.read())

打印结果分别为

wd=%E5%91%A8%E6%9D%B0%E4%BC%A6https://www.baidu.com/s?wd=%E5%91%A8%E6%9D%B0%E4%BC%A6b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));
\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;
url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'

2.4 parse_qs 函数

将经过编码后的 url 参数解码，返回字典类型，方法如下：

urllib.parse.urlencode( url )

应用：

from urllib import parse# 先对中文进行编码
params = {'name:':'张三','age':18,'greet':'hello world'}
qs = parse.urlencode(params)
print('编码后：',qs)# 对编码后的结果解码
result = parse.parse_qs(qs)
print('解码后：', result)

打印结果如下：

编码后： name%3A=%E5%BC%A0%E4%B8%89&age=18&greet=hello+world解码后： {'name:': ['张三'], 'age': ['18'], 'greet': ['hello world']}

2.4 urlparse 和 urlsplit 函数

分割 url 中的各个组成部分，分割成 scheme，host，path，params，query-string，anchor，具体含义看最上面。

这两个函数的区别是：urlsplit 不返回 params，但是这个参数params基本用不到。

（1）urlparse 方法

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

urlstring： 待解析的URL，必填项

scheme： 默认的协议，如 http 或 https 等。

allow_fragments： 即是否忽略fragment。若设为 False，fragment 部分就会被忽略，它会被解析为 path、parameters 或 query 的一部分，而 fragment 部分为空。

返回值为所有分割后的结果

# 使用 urlparse 方法from urllib import parse# 给出一个url网址
url = 'https://blog.csdn.net/dgvv4?spm=1001.5501#1'# 使用 urlparse 解析分割 url 中的组成部分
result = parse.urlparse(url)print(result)  # 获取所有属性print('scheme:', result.scheme) # 获取指定属性

返回值如下：

ParseResult(scheme='https', netloc='blog.csdn.net', path='/dgvv4', params='', query='spm=1001.5501', fragment='1')scheme: https

（2）urlsplit 方法

# 使用 urlsplit 方法from urllib import parse# 给出一个url网址
url = 'https://blog.csdn.net/dgvv4?spm=1001.5501#1'# 使用 urlparse 解析分割 url 中的组成部分
result = parse.urlsplit(url)print(result)print('scheme:', result.scheme)

返回值如下，返回结果没有params参数

SplitResult(scheme='https', netloc='blog.csdn.net', path='/dgvv4', query='spm=1001.5501', fragment='1')scheme: https

2.5 Request 函数

如果在请求时增加一些请求头，防止网页发现是爬虫，避免爬虫失败。那么就必须使用resquest.Resquest() 类来实现。比如要增加一个User-Agent。

from urllib import request, parse# 输入请求
url = 'http://www.acga......com/'# 输入浏览器页面的User-Agent请求头，使请求头更加像这个浏览器
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62','Refer':'http://www.acganime.com/'}# data需要经过urlencode重新编码后才能传进去
data = {'first' : True,'pn' : 1, #第几页'kd' : 'cos' }
# 重新编码
data = parse.urlencode(data)
# 编码类型转换成utf-8
data = data.encode('utf-8')# 使用request.Request，添加请求头，只是定义好了一个类，并没有发送请求
req = request.Request(url, headers=headers, data=data, method='POST') #请求方式为get   # 使用 urlopen 方法获取网页信息
resp = request.urlopen(req)  #传入添加请求头后的类
print(resp.read().decode('utf-8')) # 转换成utf-8显示结果

返回爬取的网页数据：

<!DOCTYPE html>
<html lang="zh-CN">
<head><meta charset="UTF-8"><meta http-equiv="X-UA-Compatible" content="IE=edge,chrome=1"><meta name="renderer" content="webkit">
<!--     <meta name="referrer" content="no-referrer" /> --><meta name="viewport" content="initial-scale=1.0,maximum-scale=5,width=device-width,viewport-fit=cover">
.........................................................

推广，发起网络请求的计算机的IP地址，可从如下活动获得：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/286176.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

STM32之HAL开发——Keil调试工具介绍

STM32之HAL开发——Keil调试工具介绍

Debug介绍 在Keil工具中有许多常用的小工具&#xff0c;下面将会依次为大家介绍每个工具的用途。 命令行窗口 在窗口内可以输入一些指令&#xff0c;来进行断点设置以及删除&#xff0c;一般不常用 反汇编窗口 可以查看当前C代码的汇编指令 标志窗口 寄存器窗口 可以用来查看C…
阅读更多...
Knative 助力 XTransfer 加速应用云原生 Serverless 化

Knative 助力 XTransfer 加速应用云原生 Serverless 化

作者&#xff1a;元毅 公司介绍 XTransfer 是一站式外贸企业跨境金融和风控服务公司&#xff0c;致力于帮助中小微企业大幅降低全球展业的门槛和成本&#xff0c;提升全球竞争力。公司连续7年专注 B2B 外贸金融服务&#xff0c;已成为中国 B2B 外贸金融第一平台&#xff0c;目…
阅读更多...
FFmpeg+mediamtx 实现将本地摄像头推送成RTSP流

FFmpeg+mediamtx 实现将本地摄像头推送成RTSP流

文章目录 概要推流过程实现过程安装FFmpeg安装Mediamtx 启动推流 概要 FFmpegmediamtx实现将本地摄像头推送成RTSP流 FFmpeg 版本号为&#xff1a;N-114298-g97d2990ea6-20240321 mediamtx 版本号为&#xff1a;v1.6.0 推流过程 摄像头数据&#xff0c;经过ffmpeg的推流代码…
阅读更多...
华为OD机22道试题

华为OD机22道试题

华为OD机试题 2.查找小朋友的好朋友位置 在学校中&#xff0c;N 个小朋友站成一队&#xff0c;第 i 个小朋友的身高为 height[i]&#xff0c;第 i 个小朋友可以看到第一个比自己身高更高的小朋友j&#xff0c;那么 j 是 i 的好朋友 (要求&#xff1a;j>i) 。 请重新生成一个…
阅读更多...
图解Kafka架构学习笔记（二）

图解Kafka架构学习笔记（二）

kafka的存储机制 https://segmentfault.com/a/1190000021824942 https://www.lin2j.tech/md/middleware/kafka/Kafka%E7%B3%BB%E5%88%97%E4%B8%83%E5%AD%98%E5%82%A8%E6%9C%BA%E5%88%B6.html https://tech.meituan.com/2015/01/13/kafka-fs-design-theory.html https://feiz…
阅读更多...
服务端高并发分布式结构

服务端高并发分布式结构

前言 本文以⼀个 “电子商务” 应用为例&#xff0c;介绍从⼀百个到千万级并发情况下服务端的架构的演进过程&#xff0c;同时列举出每个演进阶段会遇到的相关技术&#xff0c;让大家对架构的演进有⼀个整体的认知&#xff0c;方便⼤家对后续知识做深⼊学习时有⼀定的整体视野…
阅读更多...
iOS-UIFont 实现三方字体的下载和使用

iOS-UIFont 实现三方字体的下载和使用

UIFont 系列传送门 第一弹加载本地字体：iOS UIFont-新增第三方字体 第二弹加载线上字体：iOS-UIFont 实现三方字体的下载和使用 前言 在上一章我们完成啦如何加载使用本地的字体。如果我们有很多的字体可供用户选择，我们当然可以全部使用本地字体加载方式，可是这样就增加了…
阅读更多...
RSTP环路避免实验（华为）

RSTP环路避免实验（华为）

思科设备参考&#xff1a;RSTP环路避免实验&#xff08;思科&#xff09; 一&#xff0c;技术简介 RSTP (Rapid Spanning Tree Protocol) 是从STP发展而来 • RSTP标准版本为IEEE802.1w • RSTP具备STP的所有功能&#xff0c;可以兼容STP运行 • RSTP和STP有所不同 减少了…
阅读更多...
基于Arduino IDE 野火ESP8266模块 EEPROM 存储开发

基于Arduino IDE 野火ESP8266模块 EEPROM 存储开发

一、操作存储器 我们可以使用ESP8266模块的EEPROM&#xff0c;也就是可读可擦存储器&#xff0c;可以掉电不丢失地帮我们存储一些数据。ESP8266微控制器有一个闪存区(Flash memory) 来模拟Arduino的EEPROM。这是微控制器中一个特殊的内存位置&#xff0c;即使在主板关闭后&…
阅读更多...
Selenium 自动化 —— 浏览器窗口操作

Selenium 自动化 —— 浏览器窗口操作

更多内容请关注我的专栏&#xff1a; 入门和 Hello World 实例使用WebDriverManager自动下载驱动Selenium IDE录制、回放、导出Java源码 当用 Selenium 打开浏览器后&#xff0c;我们就可以通过 Selenium 对浏览器做各种操作&#xff0c;就像我们日常用鼠标和键盘操作浏览器一…
阅读更多...
基于nodejs+vue企业人才引进服务平台python-flask-django-php

基于nodejs+vue企业人才引进服务平台python-flask-django-php

本文通过采用MySQL数据库以及nodejs语言、express框架&#xff0c;结合国内线上管理现状&#xff0c;开发了一个基于node的企业人才引进服务平台。系统分为多个功能模块&#xff1a;用户信息、企业信息、招聘信息、应聘信息等。通过系统测试&#xff0c;本系统实现了系统设计目…
阅读更多...
pe启动盘破解windows密码wins电脑登录密码修改重置

pe启动盘破解windows密码wins电脑登录密码修改重置

目录 1.进入电脑BIOS&#xff0c;设置电脑第一启动项为U盘启动2.进入微pe系统3.然后点击界面最左下方的Windows图标4.点击windows密码选择对应用户名称修改&#xff1b; 1.进入电脑BIOS&#xff0c;设置电脑第一启动项为U盘启动 把u盘插到要清除密码的电脑&#xff0c;然后开机…
阅读更多...
测试环境搭建整套大数据系统（十二：挂载磁盘到hadoop环境）

测试环境搭建整套大数据系统（十二：挂载磁盘到hadoop环境）

一&#xff1a;链接硬盘 将硬盘连接到计算机的 SATA 接口或 USB 接口&#xff0c;并确保硬盘通电并处于可用状态。 二&#xff1a;查看硬盘信息 sudo fdisk -l三&#xff1a;创建分区 gdisk /dev/vbd重新扫描磁盘 partprobe /dev/vdb格式化磁盘 mkfs.ext4 /dev/vdb2查看磁…
阅读更多...
【vscode打开多文件夹】

【vscode打开多文件夹】

1)将文件夹添加到工作空间中 2)文件夹方式展开 3)最终效果 小技巧&#xff1a; 文件夹的位置不对的话&#xff0c;可以拖动进行调整。
阅读更多...
原生 HTML/CSS/JS 实现右键菜单和二级菜单

原生 HTML/CSS/JS 实现右键菜单和二级菜单

文章来源&#xff1a;www.huhailong.vip 站点 文章源地址&#xff1a;https://www.huhailong.vip/article/1764653112011841538 Demo效果演示地址 先看效果图 {{{width“auto” height“auto”}}} 需要注意的就是边界检测处理&#xff0c;到极端点击底部和右侧时如果不做处理会…
阅读更多...
四创科技解决方案

四创科技解决方案

联合解决方案 推进智慧水利建设是推动新阶段水利高质量发展的六条实施路径之一,四创科技按照“需求牵引、应用至上、数字赋能、提升能代化能力”要求,以数字化、网络化、智能化为主线,以数字化场景、智慧化模拟、精准化决策为路径&#xff0c;以构建数字李生流域为核心,全面推进…
阅读更多...
利用云手机高效运营多个海外社媒账户

利用云手机高效运营多个海外社媒账户

随着全球化进程的不断推进&#xff0c;中国出海企业和B2B外贸企业日益重视海外社媒营销&#xff0c;将其视为抢占市场份额的关键策略。在海外社媒营销中&#xff0c;企业通常会在多个平台上批量开通账户&#xff0c;搭建自己的社媒内容矩阵。本文将会介绍如何用云手机高效运营多…
阅读更多...
浅谈WPF之MVVM工具包

浅谈WPF之MVVM工具包

在之前的WPF示例中&#xff0c;都会用到一个MVVM框&#xff0c;也是一个比较常的MVVM框架&#xff0c;就是MVVM工具包【CommunityToolkit.Mvvm】&#xff0c;今天专门以一个简单的小例子&#xff0c;简述一下MVVM工具包的常见用法&#xff0c;仅供学习分享使用&#xff0c;如有…
阅读更多...
阿里云倚天云服务器怎么样？如何收费？

阿里云倚天云服务器怎么样？如何收费？

阿里云倚天云服务器CPU采用倚天710处理器&#xff0c;租用倚天服务器c8y、g8y和r8y可以享受优惠价格&#xff0c;阿里云服务器网aliyunfuwuqi.com整理倚天云服务器详细介绍、倚天710处理器性能测评、CIPU架构优势、倚天服务器使用场景及生态支持&#xff1a; 阿里云倚天云服务…
阅读更多...
kubernetes最小调度单元Pod概述

kubernetes最小调度单元Pod概述

Pod概述 一.Pod的概念1.Pod是什么2.Pod网络共享实现方式3.Pod存储共享方式4.创建Pod的流程 二.使用YAML文件定义Pod资源1.Pod资源清单YAML文件书写技巧1.YAML语法格式&#xff1a;2.配置Linux tab缩进两个空格3.使用kubectl explain帮助命令 2.创建Pod及Pod常用命令1.创建Pod资…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023