Python urllib

Python urllib 库用于操作网页 URL，并对网页的内容进行抓取处理。

本文主要介绍 Python3 的 urllib。

urllib 包 包含以下几个模块：

  • urllib.request - 打开和读取 URL。
  • urllib.error - 包含 urllib.request 抛出的异常。
  • urllib.parse - 解析 URL。
  • urllib.robotparser - 解析 robots.txt 文件。

在这里插入图片描述

urllib.request

urllib.request 定义了一些打开 URL 的函数和类，包含授权验证、重定向、浏览器 cookies等。

urllib.request 可以模拟浏览器的一个请求发起过程。

我们可以使用 urllib.request 的 urlopen 方法来打开一个 URL，语法格式如下：

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
  • url：url 地址。
  • data：发送到服务器的其他数据对象，默认为 None。
  • timeout：设置访问超时时间。
  • cafile 和 capath：cafile 为 CA 证书， capath 为 CA 证书的路径，使用 HTTPS 需要用到。
  • cadefault：已经被弃用。
  • context：ssl.SSLContext类型，用来指定 SSL 设置。

实例如下：

实例

from urllib.request import urlopen

myURL = urlopen(“https://www.runoob.com/”)
print(myURL.read())

以上代码使用 urlopen 打开一个 URL，然后使用 read() 函数获取网页的 HTML 实体代码。

read() 是读取整个网页内容，我们可以指定读取的长度：

实例

from urllib.request import urlopen

myURL = urlopen(“https://www.runoob.com/”)
print(myURL.read(300))

除了 read() 函数外，还包含以下两个读取网页内容的函数：

  • readline() - 读取文件的一行内容

    from urllib.request import urlopenmyURL = urlopen("https://www.runoob.com/")
print(myURL.readline()) #读取一行内容

  • readlines() - 读取文件的全部内容，它会把读取的内容赋值给一个列表变量。

    from urllib.request import urlopenmyURL = urlopen("https://www.runoob.com/")
lines = myURL.readlines()
for line in lines:print(line)

我们在对网页进行抓取时，经常需要判断网页是否可以正常访问，这里我们就可以使用 getcode() 函数获取网页状态码，返回 200 说明网页正常，返回 404 说明网页不存在:

实例

import urllib.request

myURL1 = urllib.request.urlopen(“https://www.runoob.com/”)
print(myURL1.getcode()) # 200

try:
myURL2 = urllib.request.urlopen(“https://www.runoob.com/no.html”)
except urllib.error.HTTPError as e:
if e.code == 404:
print(404) # 404

更多网页状态码可以查阅：https://www.runoob.com/http/http-status-codes.html。

如果要将抓取的网页保存到本地，可以使用 Python3 File write() 方法 函数：

实例

from urllib.request import urlopen

myURL = urlopen(“https://www.runoob.com/”)
f = open(“runoob_urllib_test.html”, “wb”)
content = myURL.read() # 读取网页内容
f.write(content)
f.close()

执行以上代码，在本地就会生成一个 runoob_urllib_test.html 文件，里面包含了 https://www.runoob.com/ 网页的内容。

更多Python File 处理，可以参阅：https://www.runoob.com/python3/python3-file-methods.html

。

URL 的编码与解码可以使用 urllib.request.quote() 与 urllib.request.unquote() 方法：

实例

import urllib.request

encode_url = urllib.request.quote(“https://www.runoob.com/”) # 编码
print(encode_url)

unencode_url = urllib.request.unquote(encode_url) # 解码
print(unencode_url)

输出结果为：

https%3A//www.runoob.com/
https://www.runoob.com/

模拟头部信息

我们抓取网页一般需要对 headers（网页头信息）进行模拟，这时候需要使用到 urllib.request.Request 类：

class urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
  • url：url 地址。
  • data：发送到服务器的其他数据对象，默认为 None。
  • headers：HTTP 请求的头部信息，字典格式。
  • origin_req_host：请求的主机地址，IP 或域名。
  • unverifiable：很少用这个参数，用于设置网页是否需要验证，默认是 False。
  • method：请求方法， 如 GET、POST、DELETE、PUT等。

实例 - py3_urllib_test.py 文件代码

import urllib.request
import urllib.parse

url = ‘https://www.runoob.com/?s=’ # 菜鸟教程搜索页面
keyword = ‘Python 教程’
key_code = urllib.request.quote(keyword) # 对请求进行编码
url_all = url+key_code
header = {
‘User-Agent’:‘Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36’
} #头部信息
request = urllib.request.Request(url_all,headers=header)
reponse = urllib.request.urlopen(request).read()

fh = open(“./urllib_test_runoob_search.html”,“wb”) # 将文件写入到当前目录中
fh.write(reponse)
fh.close()

执行以上 Python 代码，会在当前目录生成 urllib_test_runoob_search.html 文件，打开 urllib_test_runoob_search.html 文件（可以使用浏览器打开），内容如下：

表单 POST 传递数据，我们先创建一个表单，代码如下，我这里使用了 PHP 代码来获取表单的数据：

实例 - py3_urllib_test.php 文件代码：

<html>
<head>
<meta charset=“utf-8”>
<title>菜鸟教程(runoob.com) urllib POST 测试</title>
</head>
<body>

实例

import urllib.request
import urllib.parse

url = ‘https://www.runoob.com/try/py3/py3_urllib_test.php’ # 提交到表单页面
data = {‘name’:‘RUNOOB’, ‘tag’ : ‘菜鸟教程’} # 提交数据
header = {
‘User-Agent’:‘Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36’
} #头部信息
data = urllib.parse.urlencode(data).encode(‘utf8’) # 对参数进行编码，解码使用 urllib.parse.urldecode
request=urllib.request.Request(url, data, header) # 请求处理
reponse=urllib.request.urlopen(request).read() # 读取结果

fh = open(“./urllib_test_post_runoob.html”,“wb”) # 将文件写入到当前目录中
fh.write(reponse)
fh.close()

执行以上代码，会提交表单数据到 py3_urllib_test.php 文件，输出结果写入到 urllib_test_post_runoob.html 文件。

打开 urllib_test_post_runoob.html 文件（可以使用浏览器打开），显示结果如下：

urllib.error

urllib.error 模块为 urllib.request 所引发的异常定义了异常类，基础异常类是 URLError。

urllib.error 包含了两个方法，URLError 和 HTTPError。

URLError 是 OSError 的一个子类，用于处理程序在遇到问题时会引发此异常（或其派生的异常），包含的属性 reason 为引发异常的原因。

HTTPError 是 URLError 的一个子类，用于处理特殊 HTTP 错误例如作为认证请求的时候，包含的属性 code 为 HTTP 的状态码， reason 为引发异常的原因，headers 为导致 HTTPError 的特定 HTTP 请求的 HTTP 响应头。

对不存在的网页抓取并处理异常:

实例

import urllib.request
import urllib.error

myURL1 = urllib.request.urlopen(“https://www.runoob.com/”)
print(myURL1.getcode()) # 200

try:
myURL2 = urllib.request.urlopen(“https://www.runoob.com/no.html”)
except urllib.error.HTTPError as e:
if e.code == 404:
print(404) # 404

urllib.parse

urllib.parse 用于解析 URL，格式如下：

urllib.parse.urlparse(urlstring, scheme='', allow_fragments=True)

urlstring 为 字符串的 url 地址，scheme 为协议类型，

allow_fragments 参数为 false，则无法识别片段标识符。相反，它们被解析为路径，参数或查询组件的一部分，并 fragment 在返回值中设置为空字符串。

实例

from urllib.parse import urlparse

o = urlparse(“https://www.runoob.com/?s=python+%E6%95%99%E7%A8%8B”)
print(o)

以上实例输出结果为：

ParseResult(scheme='https', netloc='www.runoob.com', path='/', params='', query='s=python+%E6%95%99%E7%A8%8B', fragment='')

从结果可以看出，内容是一个元组，包含 6 个字符串：协议，位置，路径，参数，查询，判断。

我们可以直接读取协议内容：

实例

from urllib.parse import urlparse

o = urlparse(“https://www.runoob.com/?s=python+%E6%95%99%E7%A8%8B”)
print(o.scheme)

以上实例输出结果为：

https

完整内容如下：
在这里插入图片描述

urllib.robotparser

urllib.robotparser 用于解析 robots.txt 文件。

robots.txt（统一小写）是一种存放于网站根目录下的 robots 协议，它通常用于告诉搜索引擎对网站的抓取规则。

urllib.robotparser 提供了 RobotFileParser 类，语法如下：

class urllib.robotparser.RobotFileParser(url='')

这个类提供了一些可以读取、解析 robots.txt 文件的方法：

  • set_url(url) - 设置 robots.txt 文件的 URL。

  • read() - 读取 robots.txt URL 并将其输入解析器。

  • parse(lines) - 解析行参数。

  • can_fetch(useragent, url) - 如果允许 useragent 按照被解析 robots.txt 文件中的规则来获取 url 则返回 True。

  • mtime() -返回最近一次获取 robots.txt 文件的时间。 这适用于需要定期检查 robots.txt 文件更新情况的长时间运行的网页爬虫。

  • modified() - 将最近一次获取 robots.txt 文件的时间设置为当前时间。

  • crawl_delay(useragent) -为指定的 useragent 从 robots.txt 返回 Crawl-delay 形参。 如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

  • request_rate(useragent) -以 named tuple RequestRate(requests, seconds) 的形式从 robots.txt 返回 Request-rate 形参的内容。 如果此形参不存在或不适用于指定的 useragent 或者此形参的 robots.txt 条目存在语法错误，则返回 None。

  • site_maps() - 以 list() 的形式从 robots.txt 返回 Sitemap 形参的内容。 如果此形参不存在或者此形参的 robots.txt 条目存在语法错误，则返回 None。

实例

>>> import urllib.robotparser
>>> rp = urllib.robotparser.RobotFileParser()
>>> rp.set_url(“http://www.musi-cal.com/robots.txt”)
>>> rp.read()
>>> rrate = rp.request_rate(“*”)
>>> rrate.requests
3
>>> rrate.seconds
20
>>> rp.crawl_delay(“*”)
6
>>> rp.can_fetch(“*”, “http://www.musi-cal.com/cgi-bin/search?city=San+Francisco”)
False
>>> rp.can_fetch(“*”, “http://www.musi-cal.com/”)
True

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/468528.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据结构 —— 红黑树

数据结构 —— 红黑树

目录 1. 初识红黑树 1.1 红黑树的概念 1.2 红⿊树的规则 1.3 红黑树如何确保最长路径不超过最短路径的2倍 1.4 红黑树的效率:O(logN) 2. 红黑树的实现 2.1 红黑树的基础结构框架 2.2 红黑树的插⼊ 2.2.1 情况1&#xff1a;变色 2.2.2 情况2&#xff1a;单旋变色 2.2…
阅读更多...
丹摩征文活动｜AIGC实践-基于丹摩算力和CogVideoX-2b实现文生视频

丹摩征文活动｜AIGC实践-基于丹摩算力和CogVideoX-2b实现文生视频

一、CogVideoX简介 CogVideoX 是由智谱AI开源的新一代视频生成模型&#xff0c;属于大型语言模型在多模态应用中的重要突破。CogVideoX-2b 版本在参数规模和推理速度上进行了优化&#xff0c;支持视频从文本描述生成&#xff0c;并进一步提升了视频的分辨率和流畅度。相比于上…
阅读更多...
麦当劳自助点餐机——实现

麦当劳自助点餐机——实现

餐厅自助点餐优点 1. 降低服务成本&#xff1a; - 减少了对服务员数量的需求&#xff0c;降低了人力成本。 - 减轻了服务员的工作负担&#xff0c;使其能够更专注于提供优质的服务&#xff0c;如解决顾客的特殊需求和处理复杂问题。 2. 提升点餐效率和准确性&#xf…
阅读更多...
Linux【基础篇】T

Linux【基础篇】T

如何安装Linux操作系统&#xff1f; 1.直接把笔记本的Windows干掉&#xff0c;单独安装Linux系统&#xff08;初学者对于Linux使用还是比较苦难&#xff09;。 2.可以安装双系统&#xff08;开机也是命令行&#xff09;&#xff0c;电脑配置要高。 3.可以安装虚拟机。 --如果…
阅读更多...
Linux操作系统之软件安装与包管理器工具

Linux操作系统之软件安装与包管理器工具

一、实验目的 1、掌握常用的软件包管理器RPM、YUM的使用&#xff1b; 2、掌握内网YUM源的配置方法。 二、实验环境 1台PC、VMware虚拟机、2个CentOS7操作系统 三、实验步骤及内容 1、使用RPM软件包管理器安装软件 (1)从阿里云https://mirrors.aliyun.com/下载CentOS7操作…
阅读更多...
贯穿式学习MySQL

贯穿式学习MySQL

注&#xff1a;MySQL版本众多&#xff0c;本次讲述的内容以MySQL8.0.34版本为准 范式化设计 范式具体是用来干嘛的&#xff1f; 我们在设计关系数据库时&#xff0c;要遵从不同的规范要求&#xff0c;设计出合理的关系型数据库&#xff0c;这些不同的规范要求被称为不同的范式…
阅读更多...
web——[SUCTF 2019]EasySQL1——堆叠注入

web——[SUCTF 2019]EasySQL1——堆叠注入

这个题主要是讲述了堆叠注入的用法&#xff0c;来复现一下 什么是堆叠注入 堆叠注入&#xff1a;将多条SQL语句放在一起&#xff0c;并用分号;隔开。 1.查看数据库的名称 查看数据库名称 1;show databases; 发现有名称为ctftraining的数据库 2.对表进行查询 1;show tabl…
阅读更多...
「Mac畅玩鸿蒙与硬件31」UI互动应用篇8 - 自定义评分星级组件

「Mac畅玩鸿蒙与硬件31」UI互动应用篇8 - 自定义评分星级组件

本篇将带你实现一个自定义评分星级组件&#xff0c;用户可以通过点击星星进行评分&#xff0c;并实时显示评分结果。为了让界面更具吸引力&#xff0c;我们还将添加一只小猫图片作为评分的背景装饰。 关键词 UI互动应用评分系统自定义星级组件状态管理用户交互 一、功能说明 …
阅读更多...
发布 VectorTraits v3.0（支持 X86架构的Avx512系列指令集，支持 Wasm架构及PackedSimd指令集等）

发布 VectorTraits v3.0（支持 X86架构的Avx512系列指令集，支持 Wasm架构及PackedSimd指令集等）

文章目录 支持 X86架构的Avx512系列指令集支持Avx512时的输出信息 支持 Wasm架构及PackedSimd指令集支持PackedSimd时的输出信息VectorTraits.Benchmarks.Wasm 使用说明 新增了向量方法支持 .NET 8.0 新增的向量方法提供交织与解交织的向量方法YGroup3Unzip的范例代码 提供重新…
阅读更多...
分布式数据库中间件mycat

分布式数据库中间件mycat

MyCat MyCat是一个开源的分布式数据库系统&#xff0c;它实现了MySQL协议&#xff0c;可以作为数据库代理使用。 MyCat(中间件)的核心功能是分库分表&#xff0c;即将一个大表水平分割为多个小表&#xff0c;存储在后端的MySQL服务器或其他数据库中。 它不仅支持MySQL&#xff…
阅读更多...
操作系统学习笔记-3.2虚拟内存

操作系统学习笔记-3.2虚拟内存

文章目录 虚拟内存请求分页管理方式页面置换算法最佳置换算法工作原理OPT 算法的示例最佳置换算法的优点和缺点 先进先出置换算法最近最久未使用时钟置换算法时钟置换算法的工作原理&#xff1a;算法的步骤&#xff1a; 改进型时钟置换算法改进型时钟置换算法的特点&#xff1a…
阅读更多...
【计网】物理层学习笔记

【计网】物理层学习笔记

【计网】物理层 物理层概述 物理层要实现的功能 在各种传输媒体上传输比特0和1&#xff0c;进而为上面的数据链路层提供透明传输比特流的作用。 物理层接口特性 物理层之下的传输媒体 传输媒体是计网设备之间的物理通路&#xff0c;也称为传输介质。 传输媒体并不包含在…
阅读更多...
python机器人Agent编程——实现一个本地大模型和爬虫结合的手机号归属地天气查询Agent

python机器人Agent编程——实现一个本地大模型和爬虫结合的手机号归属地天气查询Agent

目录 一、前言二、准备工作三、Agent结构四、python模块实现4.1 实现手机号归属地查询工具4.2实现天气查询工具4.3定义创建Agent主体4.4创建聊天界面 五、小结PS.扩展阅读ps1.六自由度机器人相关文章资源ps2.四轴机器相关文章资源ps3.移动小车相关文章资源ps3.wifi小车控制相关…
阅读更多...
Spring MVC（一）

Spring MVC（一）

1. Spring MVC是什么&#xff1f; 搞清楚Spring MVC之前先搞清楚MVC是什么&#xff1f;MVC是一种架构设计模式&#xff0c;也就是一种思想&#xff0c;M是Model&#xff0c;V是View&#xff0c;C是Controller。他们之间的关系举一个例子来介绍。比如去饭店吃饭&#xff0c;一进…
阅读更多...
文件操作：Xml转Excel

文件操作：Xml转Excel

1 添加依赖 Spire.Xls.jar <dependency><groupId>e-iceblue</groupId><artifactId>spire.xls</artifactId><version>5.3.3</version></dependency>2 代码使用 package cctd.controller;import com.spire.xls.FileFormat; im…
阅读更多...
C语言中的 printf( ) 与 scanf( )

C语言中的 printf( ) 与 scanf( )

时隔多日&#xff0c;小编我又回来咯小编相信之前的博客能够给大家带来不少的收获。在我们之前的文章中&#xff0c;许多代码块的例子都用到了printf( ) 与 scanf( )这两个函数&#xff0c;大家都知道他们需要声明头文件之后才能使用&#xff0c;那这两个函数是什么呢&#xff…
阅读更多...
Yocto 项目下通过网络更新内核、设备树及模块

Yocto 项目下通过网络更新内核、设备树及模块

Yocto 项目下通过网络更新内核、设备树及模块 前言 在 Yocto 项目的开发过程中&#xff0c;特别是在进行 BSP&#xff08;Board Support Package&#xff09;开发时&#xff0c;经常需要调整特定软件包的版本&#xff0c;修改内核、设备树以及内核模块。然而&#xff0c;每次…
阅读更多...
算法每日双题精讲——双指针（移动零，复写零）

算法每日双题精讲——双指针（移动零，复写零）

&#x1f31f;快来参与讨论&#x1f4ac;&#xff0c;点赞&#x1f44d;、收藏⭐、分享&#x1f4e4;&#xff0c;共创活力社区。 &#x1f31f; 别再犹豫了&#xff01;快来订阅我们的算法每日双题精讲专栏&#xff0c;一起踏上算法学习的精彩之旅吧&#xff01;&#x1f4aa;…
阅读更多...
数据库的使用02:SQLServer的连接字符串、备份、还原、SQL监视相关设置

数据库的使用02:SQLServer的连接字符串、备份、还原、SQL监视相关设置

目录 一、连接字符串 【本地连接字符串】 【远程连接字符串】 二、备份 三、还原 &#xff08;1&#xff09;还原数据库-bak、btn文件 &#xff08;2&#xff09;附加数据库mdf文件 四、SQL监视器的使用 一、连接字符串 【本地连接字符串】 server DESKTOP-FTH2P3S; Da…
阅读更多...
使用SearXNG-搭建个人搜索引擎（附国内可用Docker镜像源）

使用SearXNG-搭建个人搜索引擎（附国内可用Docker镜像源）

介绍 SearXNG是聚合了七十多种搜索服务的开源搜索工具。我们可以匿名浏览页面&#xff0c;不会被记录和追踪。作为开发者&#xff0c;SearXNG也提供了清晰的API接口以及完整的开发文档。 部署 我们可以很方便地使用Docker和Docker compose部署SearXNG。下面给出Docker部署Se…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023