随笔：使用Python爬取知乎上相关问题的所有回答

项目中数据分析的需要自己从知乎某个专门的问题上爬数据，但众所周知，知乎的问题的显示方式有点胃疼（指滑动后下翻加载更多回答，还经常卡住），翻了翻网上的教程发现有的要么就是很老了要么就是付费的，本着开源共赢的原则，写一篇记录一下自己踩过的坑，也给后面人警醒。

阅读前必知：

  • 本文的方法是2023年10月的，如果过了时间太久可能就不管用了，请注意时效性；
  • 部分代码由GitHub Copliot完成，可能存在错误，但是结果应该没问题；
  • 代码写的比较辣鸡勿喷，解决方案也有点繁琐，但能用的方法就是好方法～

看之前参考了知乎这篇文章

方法1 使用Web scraper

Web scraper是一个很好用的轻量级的0代码爬虫工具，只需要安装chrome插件就可以使用，在google商店搜就可以了，按F12打开是这样的：

image

具体使用过程这里不再赘述，记得一定要先选块再选内容。这个的原理和selenium类似，模拟滚到顶端然后再收集，其实这个用来轻量级爬虫是很好的，但对我的任务来说（我的任务有2k多条回答），很容易滑不到顶端然后出现闪退的情况，这里附上我的sitemap，对回答较少的问题应该是可以使用的 ：

{"_id":"name","startUrl":["https://www.zhihu.com/question/xxxxxxxxx/answers/updated"],"selectors":[{"id":"block","parentSelectors":["_root"],"type":"SelectorElementScroll","selector":"div.List-item:nth-of-type(n+2)","multiple":true,"delay":2000,"elementLimit":2100},{"id":"content","parentSelectors":["block"],"type":"SelectorText","selector":"span[itemprop='text']","multiple":true,"regex":""},{"id":"user","parentSelectors":["block"],"type":"SelectorLink","selector":".AuthorInfo-name a","multiple":true,"linkType":"linkFromHref"},{"id":"date","parentSelectors":["block"],"type":"SelectorText",
"selector":".ContentItem-time span",
"multiple":true,"regex":""}]}

id就是名字（你这个任务的名字），然后url里面记得替换你要爬的问题id。

方法2 使用selenium

跟上面的原理差不多，滚动到最下面然后抓取页面，但跟上面存在相同的滚动满且卡顿、且知乎缓存导致爬不全的问题，这里也不多说直接附上代码，对小任务应该也是没问题的：

def scrape1(question_id):user_agents = ['Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36','Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36']url = f'https://www.zhihu.com/question/{question_id}'  # 替换question_id# 创建一个Options对象，并设置headersoptions = Options()options.add_argument("user-agent=" + random.choice(user_agents))# 传入cookiecookies = json.load(open('cookie.json', 'r', encoding='utf-8'))# options.add_argument("--headless")# 创建WebDriver时传入options参数driver = webdriver.Chrome(options=options)driver.get(url)driver.delete_all_cookies()for cookie in cookies:driver.add_cookie(cookie)time.sleep(2)driver.refresh()time.sleep(5)  # 等待页面加载完成# items = []# question = driver.find_element(By.CSS_SELECTOR, 'div[class="QuestionPage"] meta[itemprop="name"]').get_attribute(#     'content')# while True:#     # 滚动到页面底部#     print('scrolling to bottom')#     driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")#     time.sleep(random.randint(5, 8))  # 等待页面加载新内容的时间，根据实际情况进行调整##     # 如果找到了页面底部元素就停止加载#     try:#         driver.find_element(By.CSS_SELECTOR, 'button.Button.QuestionAnswers-answerButton')#         print('reached the end')#         break#     except:#         pass#html = driver.page_source# 解析HTMLsoup = BeautifulSoup(html, 'html.parser')# 获取所有回答的标签answers = soup.find_all('div', class_='List-item')df = pd.DataFrame()contents = []answer_ids = []driver.quit()for answer in answers:# 获取回答的文本内容content = answer.find('div', class_='RichContent-inner').get_text()contents.append(content)df['answer_id'] = answer_idsdf['content'] = contentsdf.to_csv(f'{question_id}.csv', index=False, encoding='utf-8')

这里cookie自己准备，要么不好跳过最开始的登录过程。

方法3 使用requests配合beautiful soap

这也是我最后成功的方法，最主要的是支持断点接着工作（不用拖到底直接使用）

这里还参考了这篇文章：

https://blog.csdn.net/python03011/article/details/131307051?ops_request_misc=%257B%2522request%255Fid%2522%253A%2522169813072516800188539007%2522%252C%2522scm%2522%253A%252220140713.130102334.pc%255Fblog.%2522%257D&request_id=169813072516800188539007&biz_id=0&utm_medium=distribute.pc_search_result.none-task-blog-2blogfirst_rank_ecpm_v1~times_rank-3-131307051-null-null.nonecase&utm_term=%E7%9F%A5%E4%B9%8E%E9%97%AE%E9%A2%98%E4%B8%8B%E6%89%80%E6%9C%89%E5%9B%9E%E7%AD%94&spm=1018.2226.3001.4450

原代码的核心代码是这样的：

#网址模板
template = 'https://www.zhihu.com/api/v4/questions/432119474/answers?include=data%5B*%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cattachment%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%2Cis_recognized%2Cpaid_info%2Cpaid_info_content%3Bdata%5B*%5D.mark_infos%5B*%5D.url%3Bdata%5B*%5D.author.follower_count%2Cbadge%5B*%5D.topics%3Bsettings.table_of_content.enabled%3B&offset={offset}&limit=5&sort_by=default&platform=desktop'for page in range(1, 100):#对第page页进行访问url = template.format(offset=page)resp = requests.get(url, headers=headers)#解析定位第page页的数据for info in resp.json()['data']:author = info['author']Id = info['id']text = info['excerpt']data = {'author': author,'id': Id,'text': text}#存入csvwriter.writerow(data)#降低爬虫对知乎的访问速度time.sleep(1)

但我试了下根本不符合我的要求，问题如下：

  • 目前知乎改版后，excerpt属性并不能得到完整的答案；
  • 目前知乎不用offset进行翻页了，而改用cursor，cursor很难找到规律，但实际上可以使用每个回答的next的指针。

成功思路

我的思路很简单，首先修改上面的代码获取answer_id，然后根据answer_id去爬每个对应的完整 回答。

首先说下模版网页如何获取。

我们点开我们想要的回答，刷新下找这个包：

[外链图片转存中…(img-pkPZH5Pz-1698149682893)]

这个就是我们要用的请求网址，可以看到offset一直是0，说明不管用了。

解决方法是先用一个起始的url0找到next：

import requests
import pandas as pd
import timetemplate = 'https://www.zhihu.com/api/v4/questions/30644408/feeds?cursor=1c4cacd45e70f24bd620bad51c605d59&include=data[*].is_normal,admin_closed_comment,reward_info,is_collapsed,annotation_action,annotation_detail,collapse_reason,is_sticky,collapsed_by,suggest_edit,comment_count,can_comment,content,editable_content,attachment,voteup_count,reshipment_settings,comment_permission,created_time,updated_time,review_info,relevant_info,question,excerpt,is_labeled,paid_info,paid_info_content,reaction_instruction,relationship.is_authorized,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,vip_info,badge[*].topics;data[*].settings.table_of_content.enabled&limit=5&{offset}&order=default&platform=desktop&session_id=1698132896804376037'df = pd.DataFrame()
# df有三列，answer_id和content以及创建日期
df['answer_id'] = []
df['content'] = []
df['created_time'] = []answer_ids = []headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'}cookies = { 
# 填自己的z_0 cookie}
# 第一条使用模版，后面的都是next来获取
url0 = template.format(offset=0)
resp0 = requests.get(url0, headers=headers,cookies=cookies)
for data in resp0.json()['data']:answer_id = data['target']['id']# 添加answer_id到df中answer_ids.append(answer_id)
next = resp0.json()['paging']['next']for page in range(1,400):# 这里自己估算一下，每页是5条数据#对第page页进行访问resp = requests.get(next, headers=headers,cookies=cookies)print('正在爬取第' + str(page) + '页')for data in resp.json()['data']:answer_id = data['target']['id']# 添加answer_id到df中answer_ids.append(answer_id)next = resp.json()['paging']['next']time.sleep(3) # 这里是情况可快可慢# 将answer_ids写入df
df['answer_id'] = answer_ids
df.to_csv('answer_id.csv', index=True)

这样就得到了我们需要的回答的answer_id。

第二步，根据answer_id爬内容：

from bs4 import BeautifulSoup
import pandas as pd
import randomcontents = []batch = 0
for answer_id in answer_ids:print('正在爬取answer_id为{answer_id}的数据'.format(answer_id=answer_id))url = 'https://www.zhihu.com/question/30644408/answer/{answer_id}'.format(answer_id=answer_id)try:resp = requests.get(url, headers=headers, cookies=cookies)soup = BeautifulSoup(resp.text, 'html.parser')# 查找contentcontent = soup.find('div', class_='RichContent-inner').textcontents.append(content)print(content)except Exception as e:print(f'爬取answer_id为{answer_id}的数据时出现异常：{e}')breaktime.sleep(random.randint(1,4))# 每爬取100个回答就保存一次数据,保存在不同的文件中if len(contents) % 100 == 0:new_data = {'answer_id': answer_ids[:len(contents)], 'content': contents}new_df = pd.DataFrame(new_data)new_df.to_csv(f'text_{batch}.csv', index=True)batch += 1# new_data = {'answer_id': answer_ids[:len(contents)], 'content': contents}
# new_df = new_df.append(pd.DataFrame(new_data))
# new_df.to_csv('text1.csv', index=True)

这里爬100条保存一次，免得前功尽弃。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/170643.html

如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【Linux】Centos yum源替换

【Linux】Centos yum源替换

YUM是基于RPM包管理，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软件包，无须繁琐地一次次下载、安装。 CentOS 8操作系统版本结束了生命周期（EOL）&#xff0…
阅读更多...
四、安装vmtools

四、安装vmtools

1.介绍 1.vmtools安装后，可以让我们在windows下更好的管理vm虚拟机 2.可以设置windows和centos的共享文件 2.安装步骤 1.进入centos 2.点击vm菜单->install vmware tools 3.centos会出现一个vm安装包，xx.tar.gz 4.拷贝到/opt 5.使用解压命令tar&…
阅读更多...
elementUI 特定分辨率（如1920*1080）下el-row未超出一行却换行

elementUI 特定分辨率（如1920*1080）下el-row未超出一行却换行

在1920*1080分辨率下， el-col 内容未超出 el-col 宽度，el-col 不足以占据一行，el-row 却自动换行了（其他分辨率没有这个问题）。 截图： 排查： el-col 内容没有溢出；没有多余的 pad…
阅读更多...
【Overload游戏引擎细节分析】PBR材质Shader

【Overload游戏引擎细节分析】PBR材质Shader

PBR基于物理的渲染可以实现更加真实的效果，其Shader值得分析一下。但PBR需要较多的基础知识，不适合不会OpenGL的朋友。 一、PBR理论 PBR指基于物理的渲染，其理论较多，需要的基础知识也较多，我在这就不再写一遍了&#…
阅读更多...
MS COCO数据集的评价标准以及不同指标的选择推荐（AP、mAP、MS COCO、AR、@、0.5、0.75、1、目标检测、评价指标）

MS COCO数据集的评价标准以及不同指标的选择推荐（AP、mAP、MS COCO、AR、@、0.5、0.75、1、目标检测、评价指标）

目标检测模型性能衡量指标、MS COCO 数据集的评价标准以及不同指标的选择推荐 0. 引言 0.1 COCO 数据集评价指标 目标检测模型通过 pycocotools 在验证集上会得到 COCO 的评价列表，具体参数的含义是什么呢？ 0.2 目标检测领域常用的公开数据集 PASCAL …
阅读更多...
如何在忘记手机密码或图案时重置 Android 手机？

如何在忘记手机密码或图案时重置 Android 手机？

忘记手机密码或图案是 Android 用户一生中不得不面对的最令人沮丧的事情之一。恢复 Android 设备的唯一方法是在 Android 设备上恢复出厂设置。但许多用户不使用此方法，因为此过程会擦除您设备上可用的所有个人数据。 但是，有一种方法可以在不丢失任何数…
阅读更多...
笔记43：ResNet 结构详解

笔记43：ResNet 结构详解

笔记本地地址：D:\work_file\DeepLearning_Learning\03_个人笔记\2.图像处理任务\ResNet网络学习 a a a a a a a a a a a a a a a a a a a a a a a a a a a a a
阅读更多...
LeetCode 1465. 切割后面积最大的蛋糕：纵横分别处理

LeetCode 1465. 切割后面积最大的蛋糕：纵横分别处理

【LetMeFly】1465.切割后面积最大的蛋糕：纵横分别处理 力扣题目链接：https://leetcode.cn/problems/maximum-area-of-a-piece-of-cake-after-horizontal-and-vertical-cuts/ 矩形蛋糕的高度为 h 且宽度为 w，给你两个整数数组 horizontalCut…
阅读更多...
智能问答技术在百度搜索中的应用

智能问答技术在百度搜索中的应用

作者 | Xiaodong 导读 本文主要介绍了智能问答技术在百度搜索中的应用。包括机器问答的发展历程、生成式问答、百度搜索智能问答应用。欢迎大家加入百度搜索团队，共同探索智能问答技术的发展方向，文末有简历投递方式。 全文6474字，预计阅读时…
阅读更多...
常见的云测试策略及重要性

常见的云测试策略及重要性

随着云计算技术的快速发展，云服务已经成为了现代应用程序开发和部署的核心组成部分。然而，随之而来的是对云系统性能和质量的不断追求，这使得云测试变得至关重要。本文将探讨云测试的概念、重要性以及一些常见的云测试策略和工具。 一、云测试…
阅读更多...
新能源下半场要拼“电池”，欣旺达动力胜算几何？

新能源下半场要拼“电池”，欣旺达动力胜算几何？

如今，续航焦虑、里程焦虑是新能源汽车避不开的话题。因此，电池作为续航的核心硬件，其质量的好坏自然也就成为了市场颇为关心的话题，与之相关的新能源电池厂商也受到了越来越多的关注。 其中，新能源电池厂商中的新秀—…
阅读更多...
Vue---监听div元素宽高改变时echart图表重新resize

Vue---监听div元素宽高改变时echart图表重新resize

一、需求描述 当点击上图的红色框时，echart的div元素宽会改变但是无法触发echarts图表的resize重新渲染，对于浏览器而言，浏览器具有window.resize方法监听浏览器窗口大小的改变，而div元素没有监听宽高改变的方法。 二、解决方案 …
阅读更多...
SpringCloud复习：（7）@EnableZuulProxy注解的作用

SpringCloud复习：（7）@EnableZuulProxy注解的作用

使用zuul时，需要加EnableZuulProxy注解，这个注解定义如下： 可以看到，它引入了一个配置类ZuulProxyMarkerConfiguration,这个类代码如下： 其中定义了一个类型为ZuulProxyMarkerConfiguration.Marker类型的bean. 这个…
阅读更多...
【目标跟踪】多目标跟踪测距

【目标跟踪】多目标跟踪测距

文章目录 前言python代码（带注释）main.pysort.pykalman.pydistance.py 结语 前言 先放效果图。目标框内左上角，显示的是目标距离相机的纵向距离。目标横向距离、速度已求出，没在图片展示。这里不仅仅实现对目标检测框的跟踪&#…
阅读更多...
什么是React中的高阶组件（Higher Order Component，HOC）？它的作用是什么？

什么是React中的高阶组件（Higher Order Component，HOC）？它的作用是什么？

聚沙成塔每天进步一点点 ⭐ 专栏简介 前端入门之旅：探索Web开发的奇妙世界 欢迎来到前端入门之旅！感兴趣的可以订阅本专栏哦！这个专栏是为那些对Web开发感兴趣、刚刚踏入前端领域的朋友们量身打造的。无论你是完全的新手还是有一些基础的开发…
阅读更多...
Hover：借贷新势力崛起，在经验与创新中找寻平衡

Hover：借贷新势力崛起，在经验与创新中找寻平衡

复苏中的Cosmos 如果让我选择一个最我感到可惜的区块链项目，我会选择Cosmos。 Cosmos最早提出并推动万链互联的概念，希望打通不同链之间的孤岛，彼时和另一个天王项目Polkadot号称跨链双雄。其跨链技术允许不同的区块链网络互相通信&#xf…
阅读更多...
语雀宕机8小时，是否说明现在高可用架构很脆弱？

语雀宕机8小时，是否说明现在高可用架构很脆弱？

系列文章目录 高并发架构去重难？架构必备技能 - 布隆过滤器 当Dubbo遇到高并发：探究流量控制解决方案 主从选举机制，架构高可用性的不二选择 面试Dubbo ，却问我和Springcloud有什么区别？ 消息队列选型——为什么选择R…
阅读更多...
浅谈中国汽车充电桩行业市场状况及充电桩选型的介绍

浅谈中国汽车充电桩行业市场状况及充电桩选型的介绍

安科瑞虞佳豪 车桩比降低是完善新能源汽车行业配套的一大重要趋势，目前各国政府都在努力推进政策，通过税收减免、建设补贴等措施提升充电桩建设速度，以满足新能源汽车需求。 近年来，在需求和技术的驱动下，充电桩的平…
阅读更多...
docker在java项目中打成tar包

docker在java项目中打成tar包

docker在java项目中打成tar包 1、首先安装一个docker desktop 2、mvn install项目后，建立一个自己的dockerfile 这里我以我的代码举例，from 镜像，这里你也能打包好一个镜像的基础上，from打好的镜像，这里我们用openj…
阅读更多...
数据结构：阶段测试(查漏补缺)

数据结构：阶段测试(查漏补缺)

目录 选择题： 题一： 题二： 题三： 题四： 编程题： 题一：左叶子之和 思路一： 题二：约瑟夫问题（用单链表实现） 思路一： 本人实…
阅读更多...
最新文章
推荐文章

Copyright @ 2022~2023