爬虫抓取数据时如何处理异常？

在爬虫开发中，处理异常是确保爬虫稳定运行的关键环节。爬虫在运行过程中可能会遇到各种问题，例如网络请求失败、目标页面结构变化、数据缺失等。合理处理这些异常可以提高爬虫的鲁棒性，避免因小问题导致整个爬虫程序崩溃。以下是一些常见的异常处理方法和策略：

1. 网络请求异常处理

网络请求是爬虫中最容易出问题的部分，常见的异常包括超时、连接失败、目标服务器返回错误状态码等。

示例代码：

import requests
from requests.exceptions import RequestExceptiondef get_html(url):headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"}try:response = requests.get(url, headers=headers, timeout=10)  # 设置超时时间response.raise_for_status()  # 检查HTTP状态码是否为200return response.textexcept RequestException as e:print(f"请求失败：{e}")return None

处理策略：

超时设置：通过timeout参数设置请求超时时间，避免爬虫因长时间等待而卡住。
重试机制：使用requests的Session对象结合urllib3的重试机制。
状态码检查：通过response.raise_for_status()检查HTTP状态码是否为200。

2. 页面解析异常处理

页面解析过程中可能会遇到HTML结构变化、目标元素缺失等问题，导致BeautifulSoup或Selenium抛出异常。

示例代码：

from bs4 import BeautifulSoupdef parse_html(html):soup = BeautifulSoup(html, "lxml")products = []try:items = soup.select(".product-item")for item in items:product = {"name": item.select_one(".product-name").text.strip(),"price": item.select_one(".product-price").text.strip(),"description": item.select_one(".product-description").text.strip()}products.append(product)except AttributeError as e:print(f"解析失败：{e}")return products

处理策略：

使用try-except块：捕获可能出现的AttributeError等异常。
检查元素是否存在：在访问元素之前，使用if语句检查元素是否存在。
日志记录：记录异常信息，便于后续分析和修复。

3. 数据缺失处理

在爬取数据时，可能会遇到某些字段缺失的情况。例如，某些商品可能没有用户评价或图片链接。

示例代码：

def parse_html(html):soup = BeautifulSoup(html, "lxml")products = []items = soup.select(".product-item")for item in items:product = {"name": item.select_one(".product-name").text.strip() if item.select_one(".product-name") else "未知","price": item.select_one(".product-price").text.strip() if item.select_one(".product-price") else "未知","description": item.select_one(".product-description").text.strip() if item.select_one(".product-description") else "无描述"}products.append(product)return products

处理策略：

使用三元运算符：在提取数据时，检查元素是否存在，避免抛出异常。
设置默认值：为缺失的字段设置默认值，例如“未知”或“无描述”。

4. 动态内容加载异常处理

如果目标页面使用JavaScript动态加载内容，使用Selenium时可能会遇到页面加载超时、元素未找到等问题。

示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException, NoSuchElementExceptiondef get_dynamic_html(url):options = webdriver.ChromeOptions()options.add_argument("--headless")driver = webdriver.Chrome(options=options)try:driver.get(url)driver.implicitly_wait(10)  # 设置隐式等待时间items = driver.find_elements(By.CSS_SELECTOR, ".product-item")for item in items:name = item.find_element(By.CSS_SELECTOR, ".product-name").textprice = item.find_element(By.CSS_SELECTOR, ".product-price").textprint(f"商品名称：{name}, 价格：{price}")except TimeoutException:print("页面加载超时")except NoSuchElementException:print("未找到目标元素")finally:driver.quit()

处理策略：

设置隐式等待：通过driver.implicitly_wait()设置隐式等待时间，避免因页面加载缓慢导致元素未找到。
捕获异常：使用try-except块捕获TimeoutException和NoSuchElementException等异常。
资源清理：在finally块中关闭浏览器实例，确保资源被正确释放。

5. 日志记录

日志记录是爬虫开发中不可或缺的一部分，它可以帮助我们快速定位问题并修复。

示例代码：

import logging# 配置日志
logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")def get_html(url):headers = {"User-Agent": "Mozilla/5.0"}try:response = requests.get(url, headers=headers)response.raise_for_status()return response.textexcept RequestException as e:logging.error(f"请求失败：{e}")return Nonedef parse_html(html):soup = BeautifulSoup(html, "lxml")products = []try:items = soup.select(".product-item")for item in items:product = {"name": item.select_one(".product-name").text.strip(),"price": item.select_one(".product-price").text.strip()}products.append(product)except AttributeError as e:logging.error(f"解析失败：{e}")return products

处理策略：