开篇
本篇文章旨在总结urlib基本库的一些常用用法。
相关方法
urlopen
用户打开和读取URL。
import urllib.requestresponse = urllib.request.urlopen('https://www.python.org')
print(response.read().decode('utf-8'))
- 带data参数
import urllib.parse
import urllib.requestdata = bytes(urllib.parse.urlencode({'name': 'germey'}), 'utf-8')
response = urllib.request.urlopen('http://httpbin.org/post', data)
# 输出模拟提交的参数
print(response.read().decode('utf-8'))
-
- 输出
{"args": {},"data": "","files": {},"form": {"name": "germey"},"headers": {"Accept-Encoding": "identity","Content-Length": "11","Content-Type": "application/x-www-form-urlencoded","Host": "httpbin.org","User-Agent": "Python-urllib/3.11","X-Amzn-Trace-Id": "Root=1-6688939e-622c82b231ff076079ee145a"},"json": null,"origin": "114.86.155.241","url": "http://httpbin.org/post"
}
- 带timeout参数
- 基本使用
import urllib.request
import urllib.error
import sockettry:response = urllib.request.urlopen('https://www.httpbin.org/get', timeout=0.1)print(response.read())
except urllib.error.URLError as e:if isinstance(e.reason, socket.timeout):print('超时错误')
- 输出
超时错误
Request
利用urlopen方法可以发起最基本的请求，但那几个简单的参数不足以构建一个完整的请求。如果需要往请求中加入Headers等信息，就得利用更强大的Request类来构建请求了。
- 基本使用
import urllib.requestrequest = urllib.request.Request('https://python.org/')
response = urllib.request.urlopen(request)
print(response.read().decode('utf-8'))
- 带参数使用
from urllib import request, parseurl = 'https://www.httpbin.org/post'
headers = {'user-Agent': 'Mozilla/4.0(compatible;MSIE 5.5;Windows NT)','Host': 'www.httpbin.org'
}
dict = {'name': 'germey'}
data = bytes(parse.urlencode(dict), encoding='utf-8')
req = request.Request(url, data, headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))
- 运行结果为
运行结果为：
{"args": {}, "data": "", "files": {}, "form": {"name": "germey"}, "headers": {"Accept-Encoding": "identity", "Content-Length": "11", "Content-Type": "application/x-www-form-urlencoded", "Host": "www.httpbin.org", "User-Agent": "Mozilla/4.0(compatible;MSIE 5.5;Windows NT)", "X-Amzn-Trace-Id": "Root=1-669397b1-1361c6c9074724d22efebd7f"}, "json": null, "origin": "114.86.155.200", "url": "https://www.httpbin.org/post"
}
- handler和opener
在构建请求后，要想进行一些更高级的操作（例如Cookie处理、代理设置等），就需要Handler登场了。简而言之，Handler可以理解为各种处理器，有专门处理登录验证的、处理Cookie的、处理代理设置的。
- 基本使用
from urllib.request import HTTPPasswordMgrWithDefaultRealm, HTTPBasicAuthHandler, build_opener
from urllib.error import URLError# 设置用户名和密码
username = 'admin'
password = 'admin'# 设置要访问的URL
url = 'https://ssr3.scrape.center/'# 创建一个密码管理器，并添加用户名和密码
p = HTTPPasswordMgrWithDefaultRealm()
p.add_password(None, url, username, password)# 创建一个基本认证处理器，并将密码管理器传递给它
auth_handler = HTTPBasicAuthHandler(p)# 构建一个打开器，并将认证处理器添加到它
opener = build_opener(auth_handler)# 尝试打开URL
try:# 使用构建的打开器打开URLresult = opener.open(url)# 读取并打印结果print(result.read().decode('utf-8'))
except URLError as e:# 如果出现URL错误，打印错误原因print(e.reason)
- 代理
from urllib.error import URLError
from urllib.request import ProxyHandler, build_openerproxy_handler = ProxyHandler({'http': 'http://127.0.0.1:8080','https': 'http://127.0.0.1:8080'
})
opener = build_opener(proxy_handler)
try:response = opener.open('https://www.baidu.com')print(response.read().decode('utf-8'))
except URLError as e:print(e.reason)
Cookie
处理Cookie需要用到的相关的Handler。
- 基本使用
import http.cookiejar, urllib.requestcookie = http.cookiejar.CookieJar()
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')for item in cookie:print(item.name + "=" + item.value)
- 输出文件格式的内容
import urllib.request, http.cookiejarfilename = 'cookie.txt'
cookie = http.cookiejar.MozillaCookieJar(filename)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
cookie.save(ignore_discard=True, ignore_expires=True)
此处，如果要生成LWP格式的文件，可以用下面这句代码:
cookie = http.cookiejar.LWPCookieJar(filename)
- 读取Cookie文件（以LWP格式为例）
import urllib.request, http.cookiejarcookie = http.cookiejar.LWPCookieJar()
cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True)
handler = urllib.request.HTTPCookieProcessor(cookie)
opener = urllib.request.build_opener(handler)
response = opener.open('https://www.baidu.com')
print(response.read().decode('utf-8'))
此处，会输出百度网页的源代码:
处理异常
- URLError
URLError类都来自urlib库的error模块，继承自OSError类，是error异常模块的基类，由request模块产生的异常都可以通过捕获这个类来处理。
from urllib import request, errortry:response = request.urlopen('https://cuiqingcai.com/404')
except error.HTTPError as e:print(f"Code: {e.code}")print(f"Reason: {e.reason}")
- HTTPError
HTTPError是URLError的子类，专门用来处理HTTP请求错误，例如认证请求失败等。
from urllib import request, errortry:response = request.urlopen('https://cuiqingcai.com/404')
except error.HTTPError as e:print(e.reason, e.code, e.headers, sep='\n')
上面的代码也可以写成:
from urllib import request, errortry:response = request.urlopen('https://cuiqingcai.com/404')
except error.HTTPError as e:print(e.reason, e.code, e.headers, sep='\n')
except error.URLError as e:print(f"Reason: {e.reason}")
else:print('Request Successful')
有时，reason属性返回的不一定是字符串，也可能是一个对象:
import socket
import urllib.request
import urllib.errortry:response = urllib.request.urlopen('https://www.baidu.com', timeout=0.01)
except urllib.error.URLError as e:print(type(e.reason))if isinstance(e.reason, socket.timeout):print('socket timeout')
解析链接
- urlparse
用于实现URL的识别和分段。
from urllib.parse import urlparseresult = urlparse('https://www.baidu.com/index.html;user?id=5#comment')
print(type(result))
print(result)
- urlunparse
用于构造URL。
from urllib.parse import urlunparsedata = ['https', 'www.baidu.com', 'index.html', 'user', 'a=6', 'comment']
print(urlunparse(data))
- urlsplit
和urlparse方法非常相似，只不过它不再单独解析params这一部分（params会合并到path中），只返回5个结果。
from urllib.parse import urlsplitresult = urlsplit('https://www.example.com/path/to/resource?key=value#fragment')
print(result)
- urlunsplit
与urlunparse方法类似，这也是将链接各个部分合成完整链接的方法，传入的参数也是一个可迭代对象，例如列表、元祖等，唯一区别是这里参数的长度必须为5。
from urllib.parse import urlunsplitdata = ['https', 'www.baidu.com', 'index.html', 'user', 'a=6']
print(urlunsplit(data))
- urljoin
用于生成链接的方法，如果我们提供一个base_url（基础链接）作为该方法的第一个参数，将新的链接作为第二个参数。urljoin方法会分析base_url的scheme、netloc和path这三个内容，并对新链接缺失的部分进行补充。
from urllib.parse import urljoinprint(urljoin('https://example.com/foo', '/bar'))
- urlencode
用于将params序列化为GET请求的参数。
from urllib.parse import urlencodeparams = {'name': 'germey','age': 3
}
base_url = 'https://www.baidu.com?'
url = base_url + urlencode(params)
print(url)
- parse_qs
反序列化方法，用于将一串GET请求参数转回字典。
from urllib.parse import parse_qsquery = 'name=zyc&age=19'
print(parse_qs(query))
- parse_qsl
用于将参数转化为由元祖组成的列表。
from urllib.parse import parse_qslquery = 'name=zyc&age=19'
print(parse_qsl(query))
- quote
此方法可以将内容转化为URL编码的格式。当URL中带有中文参数时，有可能导致乱码问题，此时用quote方法可以将中文字符转化为URL编码。
from urllib.parse import quotekeyword = '壁纸'
url = 'https://www.baidu.com/s?wd =' + quote(keyword)
print(url)
- unquote
有了quote方法，自然就会有unquote方法，它可以进行URL解码
from urllib.parse import unquoteurl = 'https://www.baidu.com/s?wd =%E5%A3%81%E7%BA%B8'
print(unquote(url))
注
以上便是这一部分全部学习笔记了。
