时隔一年，笔者又拿着实验报告来写篇博客。

实验原理

爬虫实验使用了Python中的requests、beautifulsoup、json和pandas库，requests用于发送HTTP请求，beautifulsoup用于处理并解析响应的HTML文档，json用于解析json数据，pandas用于数据储存。

1、HTTP请求构造

HTTP协议定义Web客户端如何从Web服务器请求Web页面，以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文，请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应，响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。

HTTP/1.1协议中共定义了八种方法来以不同方式操作指定的资源：

 GET HEAD POST PUT  DELETE TRACE OPTIONS CONNECT

爬虫大多用的就是GET或者POST

2、响应数据处理

对于请求的响应，一般情况下，有html 和 json 两种格式。

HTML数据的解析原理：HTML以尖括号为标记，内部元素分为块元素与行内元素。利用beautifulsoup可以选择目标元素内的文本，爬取并存储即可完成数据解析。

Json数据解析：JSON类似于XML，是一种数据交换格式。JSON 是 JavaScript 原生格式，这意味着在 JavaScript 中处理 JSON 数据不需要任何特殊的 API 或工具包。解析后直接分析键值对即可提取目标信息。

实验设计

    从实验原理出发，模拟整个请求响应流程，防止爬虫被网站阻拦。系统流程与结构如下：

爬虫程序流程如下图：

    系统架构如下图：

关键问题及其解决方法

        爬取信息失败，未能获得正常响应

根据分析，修改header以及参数后发现，原因在于header中没有加入Referer这一键值对，导致网站将程序将程序的请求判定为爬虫。

    在一些网站信息的获取过程中，只有在指定的站点发起请求，服务器才会允许返回数据（这样可以防止资源被盗用在其他网站使用）。因此加入Rerferer使得问题解决。

    解决方法：在相关网站打开开发者工具，观察目标数据包的头部，如下：

根据实际情况合理构造头部即可获得正常响应。

        获得正常响应，但获得的数据并不符合关键词

针对这一问题，同样从url,headers以及参数方向考虑，由于url与headers并不设计到关键词的值，因此考虑参数的值与格式。

    解决方法：

打开工具查看实际参数

构造相同参数进行测试

结果返回失败，于是考虑格式，发现南方新闻网参数的接收格式为application/x-www-form-urlencoded; charset=UTF-8，直接接收表单，不需要将参数json处理再传输，于是直接发送参数，然后即得到正确结果。

设计结果

参数设置：可根据实际需要，设置关键词

爬取结果展示：

南方新闻网：

新浪新闻:

爬虫源码如下：

南方新闻网爬虫源码：

import requests					
from bs4 import BeautifulSoup		
import pandas as pd					
import osdef fetchUrl(url, kw, page):# 请求头headers={"accept":"*/*","content-type": "application/x-www-form-urlencoded; charset=UTF-8","origin":"https://search.southcn.com","referer": "https://search.southcn.com/?keyword=chatgpt&s=smart&page={}".format(page),"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.58",}# 请求参数payloads = {"project_id":5,"service_area":1,"sort":"smart","position": "","keywords": kw,"page_size":10,"page": page,"type": "normal",}# 发起 post 请求r = requests.post(url, headers=headers, data=payloads)return r.json()def parseJson(jsonObj):#解析数据records = jsonObj["data"]["news"]["list"]for item in records:# 解析了"文章id", "标题", "副标题", "发表时间", "编辑", "版面", "摘要", "链接"pid = item["id"]editor = item["editor"]content = item["digest"]displayTime = item["pub_time_detail"]subtitle = item["sub_title"]title = BeautifulSoup(item["title"], "html.parser").texturl = item["url"]yield [[pid, title, subtitle, displayTime, editor, content, url]]def saveFile(path, filename, data):# 如果路径不存在，就创建路径if not os.path.exists(path):os.makedirs(path)# 保存数据dataframe = pd.DataFrame(data)dataframe.to_csv(path + filename + ".csv", encoding='utf_8_sig', mode='a', index=False, sep=',', header=False )if __name__ == "__main__":# 起始页，终止页，关键词设置start = 1end = 5keyword = "chatgpt"# 保存表头headline = [["文章id", "标题", "副标题", "发表时间", "编辑", "摘要", "链接"]]saveFile("./data/", "southcn", headline)#爬取数据for page in range(start, end + 1):url = "https://search.southcn.com/api/search/all"html = fetchUrl(url, keyword, page)for data in parseJson(html):saveFile("./data/", "southcn", data)print("第{}页爬取完成".format(page))

新浪新闻网爬虫：

import requests
from bs4 import BeautifulSoup
import pandas as pd
import os
from lxml import etreedef fetchUrl(url, kw,page):# 请求头headers = {"accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7","content-type": "application/x-www-form-urlencoded","origin": "https://search.sina.com.cn","referer": "https://search.sina.com.cn/news","user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36 Edg/112.0.1722.58",}# 请求参数payloads = {"q":kw,"c":"news","range":"all","size":10,"page":page}# 发起 post 请求r = requests.post(url, headers=headers, data=payloads)return rdef parseHtml(htmlObj):html_selector = BeautifulSoup(htmlObj.text,'lxml')news = html_selector.find_all("div",attrs = {'class': 'box-result clearfix'})# 解析数据for item in news:# 解析"文章标题", "摘要", “来源与发表时间",  "链接"title = item.find("a").textcontent = item.find("p",attrs = {"class":"content"}).textorigin = item.find("span",attrs = {"class":"fgray_time"}).texturl = item.find("a")['href']yield [[title, content,origin, url]]def saveFile(path, filename, data):# 如果路径不存在，就创建路径if not os.path.exists(path):os.makedirs(path)# 保存数据dataframe = pd.DataFrame(data)dataframe.to_csv(path + filename + ".csv", encoding='utf_8_sig',mode='a', index=False, sep=',', header=False)if __name__ == "__main__":# 起始页，终止页，关键词设置start = 1end = 3keyword = "chatgpt"# 保存表头headline = [["文章标题", "摘要", "来源与发表时间", "链接"]]saveFile("./data/", "sinanews", headline)# 爬取数据for page in range(start, end + 1):url = "https://search.sina.com.cn/news"html = fetchUrl(url, keyword, page)for data in parseHtml(html):saveFile("./data/", "sinanews", data)print("第{}页爬取完成".format(page))