爬虫常用的库

爬虫（Web Scraping）是一种从网页上提取数据的技术。在 Python 中，有许多库可以帮助实现这一目标。以下是一些常用的爬虫库，以及对 BeautifulSoup 的详细介绍。
常用爬虫库

1.Requests

​ a.功能：用于发送 HTTP 请求，获取网页内容。
​ b.特点：简单易用，支持 GET 和 POST 请求，能够处理 cookies、会话等。

2.BeautifulSoup

​ a.功能：用于解析 HTML 和 XML 文档，提取数据。
​ b.特点：提供简单的 API 来导航、搜索和修改解析树，非常适合处理复杂的网页结构。

3.Scrapy

​ a.功能：一个强大的爬虫框架，适合构建大规模爬虫项目。
​ b.特点：支持异步请求，内置了数据存储和提取功能，适合需要高效爬取的场景。

4.Selenium

​ a.功能：用于自动化浏览器操作，可以抓取动态内容。
​ b.特点：可以模拟用户操作，适合处理 JavaScript 渲染的页面。

5.lxml

​ a.功能：用于解析和处理 XML 和 HTML 文档。
​ b.特点：速度快，支持 XPath 查询。

6.Pandas

​ a.功能：用于数据处理和分析。
​ b.特点：可以方便地将抓取到的数据进行清洗和分析。

BeautifulSoup 详细介绍

BeautifulSoup 是一个用于解析 HTML 和 XML 的 Python 库，提供了方便的工具来提取和处理网页数据。以下是对 BeautifulSoup 的一些关键点的介绍：
安装
使用 pip 安装 BeautifulSoup：

pip install beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple 

安装 requests

pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple 

基本用法

• 导入库：

   from bs4 import BeautifulSoupimport requests

• 获取网页内容：

   url = 'https://example.com'response = requests.get(url)html_content = response.text

• 创建 BeautifulSoup 对象：

   soup = BeautifulSoup(html_content, 'html.parser')

解析 HTML：

• 查找标签：

title = soup.title
print(title.text)  # 打印网页标题

• 查找特定标签：

 for heading in headings:print(heading.text)headings = soup.find_all('h1')  # 找到所有 h1 标签

• 使用 CSS 选择器：

 links = soup.select('a[href]')  # 查找所有有 href 属性的链接for link in links:print(link['href'])

修改文档：

• 添加、删除标签：

new_tag = soup.new_tag('p')
new_tag.string = '这是新添加的段落'
soup.body.append(new_tag)  # 将新标签添加到 body 中

BeautifulSoup优点

• 易于使用：简单的 API 使得即使是初学者也能快速上手。
• 灵活性：支持多种解析器（如 lxml 和 html.parser）。
• 强大的搜索功能：通过标签名、属性和文本内容进行精确查找。

示例代码
以下是一个简单的示例，演示如何使用 BeautifulSoup 提取网页中的所有链接：

import requests
from bs4 import BeautifulSoup# 获取网页内容
url = 'https://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')# 查找所有链接
for link in soup.find_all('a'):print(link.get('href'))

总结
BeautifulSoup 是一个功能强大的网页解析库，适合用于快速提取 HTML 数据。结合其他库（如 Requests 和 Scrapy），可以构建强大的爬虫应用。通过灵活使用其各种功能，用户可以高效地抓取和处理网页数据。

简单案例演示爬取元气手机壁纸

获取网页请求信息

• 设置headers请求头过程如下图：

• 查看请求响应的网页html代码

import  requests
# 定制请求头
headers = {'user-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36'}
response = requests.get('https://mbizhi.cheetahfun.com/sj/j/', headers=headers)
print('text:')
print(response.text)
print("content:")
print(response.content)

• 出现下面的结果表示请求成功

完整代码如下：

import requests
from bs4 import BeautifulSoup
import os
# 定制请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/128.0.0.0 Safari/537.36'
}# 发送请求获取网页内容
url = 'https://mbizhi.cheetahfun.com/sj/j/'
response = requests.get(url, headers=headers)# 检查响应状态码
if response.status_code == 200:# 使用 BeautifulSoup 解析网页内容soup = BeautifulSoup(response.text, 'html.parser')# 查找所有图片元素images = soup.find_all('img')# 创建保存图片的目录save_dir = 'downloaded_images'if not os.path.exists(save_dir):os.makedirs(save_dir)# 遍历图片元素，下载并保存图片for i, image in enumerate(images):img_url = image['src']# 确保URL是绝对路径if not img_url.startswith(('http:', 'https:')):img_url = url + img_url  # 将相对路径转换为绝对路径img_data = requests.get(img_url).content  # 下载图片内容# 构建保存路径file_path = os.path.join(save_dir, f'image_{i}.jpg')# 保存图片with open(file_path, 'wb') as file:file.write(img_data)print(f'Image {i} saved to {file_path}')
else:print('Failed to retrieve the webpage')

运行后：打开downloaded_images文件夹查看，获取的图片如下：