python爬虫———激发学习兴趣的案列（第十三天）

一、爬取豆瓣电影Top250信息：

二、爬取Github上的Python项目信息（只有一部分）

三、爬取知乎上关于Python话题下的热门问题和对应的回答：

总结

嘿嘿，小伙伴们，今天为了激发大家的学习兴趣。俺特的找了几个爬虫的小案例，给大家展示一下。话不多说，正片开始。（大家在爬取数据的时候，一定要注意合法合规）

一、爬取豆瓣电影Top250信息：

就是这个豆瓣电影页面，接下来我们就要把前250名的电影的电影名称与评分爬取下来保存到

douban_top250.csv文件中

豆瓣网站的反爬虫机制限制了请求的频率或者数据量。所以我们可以尝试在每次请求之间加入更长的延迟，以降低请求频率。另外，我们也可以尝试分批次进行请求，每次请求部分数据，然后合并结果。以下是一个分批次请求的示例代码：

import requests
from bs4 import BeautifulSoup
import csv
import time
import randomdef scrape_douban_top250(url):# 设置请求头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}# 发起请求response = requests.get(url, headers=headers)# 解析网页内容soup = BeautifulSoup(response.text, 'html.parser')# 获取电影列表movies = soup.find_all('div', class_='item')return moviesdef save_to_csv(movies, filename):# 将电影信息保存到CSV文件中with open(filename, 'a', newline='', encoding='utf-8') as csvfile:csvwriter = csv.writer(csvfile)for movie in movies:title = movie.find('span', class_='title').get_text()rating = movie.find('span', class_='rating_num').get_text()csvwriter.writerow([title, rating])url = '<https://movie.douban.com/top250>'
filename = 'douban_top250.csv'# 创建CSV文件并写入表头
with open(filename, 'w', newline='', encoding='utf-8') as csvfile:csvwriter = csv.writer(csvfile)csvwriter.writerow(['电影名称', '评分'])start = 0
while start < 250:# 循环爬取每页的电影信息movies = scrape_douban_top250(f'{url}?start={start}')save_to_csv(movies, filename)start += 25# 添加随机延迟，避免频繁请求被封禁time.sleep(random.uniform(1, 3))print('保存成功')

添加请求头信息： 有些网站需要在请求中包含用户代理（User-Agent）信息，模拟浏览器访问。你可以尝试添加请求头信息来解决问题：

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers=headers)

结果展示：

二、爬取Github上的Python项目信息（只有一部分）

import requests
import csvdef get_python_projects():# 设置请求URL和参数url = '<https://api.github.com/search/repositories>'params = {'q': 'language:python','sort': 'stars','order': 'desc'}# 设置请求头，包括用户代理信息headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}# 发起GET请求response = requests.get(url, params=params, headers=headers)# 解析JSON响应data = response.json()projects = data['items']return projectsif __name__ == '__main__':# 获取项目信息projects = get_python_projects()# 写入CSV文件with open('github_python_projects.csv', 'w', newline='', encoding='utf-8') as csvfile:csvwriter = csv.writer(csvfile)# 写入表头csvwriter.writerow(['项目名称', '星标数', '项目地址'])# 遍历项目列表，写入每个项目的信息for project in projects:name = project['name']stars = project['stargazers_count']url = project['html_url']csvwriter.writerow([name, stars, url])print('保存成功')

请确保替换代码中的 'Your User Agent' 为合适的用户代理信息。这段代码会将项目名称、星标数和项目地址保存到名为**github_python_projects.csv**的CSV文件中，并在控制台输出“保存成功”消息。

结果展示:

三、爬取知乎上关于Python话题下的热门问题和对应的回答：

import requests
from bs4 import BeautifulSoup
import csv
import textwrapurl = '<https://www.zhihu.com/topic/19552832/top-answers>'
headers = {'User-Agent': 'Your User Agent'  # 替换为你的用户代理
}# 发送请求获取页面内容
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')# 解析页面获取问题和回答
questions = soup.select('.List-item')
data = []
for question in questions:title = question.select_one('.ContentItem-title').get_text()answer = question.select_one('.RichContent-inner').get_text()# 格式化回答文本，限制每行最大长度为80answer = '\\n'.join(textwrap.wrap(answer, width=80))data.append({'问题': title, '回答': answer})# 将结果保存到CSV文件中
with open('zhihu_python.csv', 'w', newline='', encoding='utf-8') as csvfile:fieldnames = ['问题', '回答']writer = csv.DictWriter(csvfile, fieldnames=fieldnames)writer.writeheader()for qa in data:writer.writerow(qa)print('保存成功')

这段代码首先发送请求获取知乎Python话题下热门问题和回答的页面内容，然后使用BeautifulSoup解析页面，提取问题和回答信息。接着，使用textwrap模块对回答文本进行格式化，限制每行最大长度为80个字符。最后，将格式化后的结果保存到CSV文件中。

结果展示：