新冠肺炎国内外疫情数据爬取

环境说明

爬虫环境:
Python3
IDE:Pycharm
爬虫工具包:
requests
BeautifulSoup
json

从腾讯新闻网爬取

使用chrome浏览器对腾讯新闻网进行页面元素审查,进入network,刷新,查看response:在这里插入图片描述
寻找到这三个js文件,发现其中以json格式存储了新冠肺炎疫情数据。

进入Headers,对请求头进行分析,发现有效的URL分别为
在这里插入图片描述
https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5
https://view.inews.qq.com/g2/getOnsInfo?name=disease_other
https://view.inews.qq.com/g2/getOnsInfo?name=disease_foreign
进入第一个URL:在这里插入图片描述
为中国各省份实时数据;
进入第二个URL:
在这里插入图片描述
为中国历史疫情数据,包含确诊,新增确诊,死亡,现存确诊,现存治愈,死亡率,治愈率等信息。
进入第三个URL:
在这里插入图片描述
为全球新冠肺炎历史数据。
爬虫代码(以爬取中国新冠疫情历史数据为例):
在这里插入图片描述
分析后发现缺少全球新冠肺炎历史数据
继续分析network返回的响应,
发现有效的URL为:
https://api.inews.qq.com/newsqa/v1/automation/foreign/daily/list?country=%E6%84%8F%E5%A4%A7%E5%88%A9&
其中country后的参数即为该国家新冠肺炎历史数据
在这里插入图片描述

从Tushare金融大数据社区获取新冠肺炎数据

由于腾讯新闻网存在改版的问题,每次改版后都要重新分析网页响应包,于是思考有没有更加方便的爬取数据的方法,经过搜索,发现了Tushare金融大数据社区。
网址:https://www.waditu.com/document/2?doc_id=213
获取流程:
注册、登陆
获取该社区的Token,使用指定的URL接口与参数获取新冠肺炎数据。
在这里插入图片描述
python代码:
在这里插入图片描述

从世界卫生组织获新冠肺炎疫情数据

在使用Tushare社区获取数据时,发现了部分国家数据缺失,以及该社区更新时间不确定的问题。突然想到这些平台的数据是从哪里得到的?于是去WHO官网一探究竟。
网址:https://ourworldindata.org/covid-sources-comparison
发现WHO共享全球新冠肺炎数据。
在这里插入图片描述
从github上下载后,发现WHO的数据包括:总病例、新增病例、总死亡、新增死亡、每百万人总病例、每百万人新增病例、每百万人总死亡…等。
在这里插入图片描述
数据类型最为全面,但没有中国各省份的详细数据。
综合:
综合以上三个阶段,可以几乎得到所有新冠肺炎疫情有关数据。


爬取新冠肺炎问答对见我的另一篇博客:https://blog.csdn.net/NiZjiTouA/article/details/107094238

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/18716.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[Pyhon疫情大数据分析] 四.微博话题抓取及新冠肺炎疫情文本挖掘和情感分析

思来想去,虽然很忙,但还是挤时间针对这次肺炎疫情写个Python大数据分析系列博客,包括网络爬虫、可视化分析、GIS地图显示、情感分析、舆情分析、主题挖掘、威胁情报溯源、知识图谱、预测预警及AI和NLP应用等。希望该系列线上远程教学对您有所帮助,也希望早点战胜病毒,武汉…

爬取WHO各国病例数据

还在为拿不到官方病例数据而发愁吗? WHO各国病例数据如下: https://experience.arcgis.com/experience/685d0ace521648f8a5beeeee1b9125cd 我们的目的就是爬出这个图中的数据: 审查元素 首先我们随便点开一个国家的疫情情况:…

Python数据分析高薪实战第十天 EDA实战-全球新冠肺炎确诊病例趋势分析

27 初识 EDA:全球新冠肺炎确诊病例趋势分析 从本讲开始,我们会通过四个具体的案例来将我们之前学习的 Python 数据分析方面的知识全都串起来。一方面能够融会贯通,另一方面也能帮你掌握数据分析基本的方法论。 本讲我们首先会介绍数据分析中…

【大数据基础】2020年美国新冠肺炎疫情数据分析

https://dblab.xmu.edu.cn/blog/2738 https://dblab.xmu.edu.cn/blog/2636/ spark 安装 安装 Spark2.4.0 sudo tar -zxf ~/下载/spark-2.4.0-bin-without-hadoop.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.4.0-bin-without-hadoop/ ./spark sudo chown -R hadoop:…

新冠疫情分析(疫情数据爬取+数据分析+网页排版展示)

新冠疫情来临,我简单的做一次疫情的数据分析温习我的python知识,也希望能帮到各位。分析中我用到的技术有:pyton爬取数据htmlcss将分析结果排版。用到的工具有exceltableau进行数据处理分析和绘图。数据分析中还是存在很多的不足,…

基于Python语言的Spark数据处理分析——2020年美国新冠肺炎疫情数据分析

基于Python语言的Spark数据处理分析——2020年美国新冠肺炎疫情数据分析 一、实验环境二、数据集1.数据集下载来源2.转换文件格式3.上传文件至HDFS文件系统 三、使用Spark进行数据分析1.读取文件并生成DataFrame2.采用python编程语言进行数据分析3.将HDFS上结果文件保存到本地文…

Python新型冠状病毒疫情数据自动爬取+统计+发送报告+数据屏幕(三)发送篇

今天介绍的项目是使用 Itchat 发送统计报告 项目功能设计: 定时爬取疫情数据存入Mysql进行数据分析制作疫情报告使用itchat给亲人朋友发送分析报告(本文)基于Django做数据屏幕使用Tableau做数据分析 来看看最终效果 目前已经完成&#xff…

python 爬取国内各省份新冠疫情历史数据(来自腾迅疫情)

数据接口: https://api.inews.qq.com/newsqa/v1/query/pubished/daily/list?adCode310000其中,adCode 是地区地理编码,可参考:python 全国行政地区信息爬取-腾迅位置服务平台请求方式: GET返回数据类型: J…

Python采集全球疫情数据并做可视化分析

嗨嗨,大家好~ 今天真的是刚睡醒就知道RNG八人确诊,这年头出国打个比赛都这么不容易,希望早日康复~ 唉,今天就教你们 如何用Python采集全球疫情数据,并做可视化分析 知识点: 爬虫基本流程requests 发送请求re 正则表…

【大数据平台】基于Spark的美国新冠肺炎疫情数据分析及预测

一、选题背景 新型冠状病毒疫情是由严重急性呼吸系统综合征冠状病毒2(SARS-CoV-2)导致的2019冠状病毒病(COVID-19)所引发的全球大流行疫情。该疾病在2019年末于中华人民共和国湖北省武汉市首次爆发,随后在2020年初迅速…

chatgpt画思维导图

场景: chatgpt写思维导图代码,进而在专门的软件中生成思维导图 方法 在提问中,输入需要的思维导图代码格式

ChatGPT与网络安全的跨时代对话

前言 ChatGPT:是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务。G…

ChatGPT实现数据结构转换

数据结构转换 在应用系统开发和维护中,经常会有配置数据或客户数据需要在不同的序列化结构中相互转换的需求。不同编程语言之前,对数据结构的偏好也不一样,比如 JavaScript 一般使用 JSON、Java 一般使用 XML、Ruby 一般使用 YAML、Golang 一…

springboot3 笔记(雷峰阳)

文章目录 springboot3核心特性SpringBoot3-快速入门环境要求SpringBoot是什么快速体验1. 开发流程1. 创建项目2. 导入场景3.主程序4. 业务5. 测试6. 打包 2. 特性小结1. 简化整合2. 简化开发3. 简化配置5. 简化运维 3. Spring Initializr 创建向导3、应用分析1. 依赖管理机制2.…

我靠海外抖音搬运视频赚到了人生第一桶金:这个风口行业,真的很赚钱

在2022年新一轮疫情期间,“有啥方法,可在家快速赚钱?”冲上了热门话题。 “好想挣钱啊...…”单位难开工,生意不开张,咱们才惊醒:“领死工资的生活,真的好脆弱。” 平时总说副业赚钱&#xff0c…

腾讯股票接口、和讯网股票接口、新浪股票接口、雪球股票数据、网易股票数据...

2019独角兽企业重金招聘Python工程师标准>>> 腾讯股票接口: 分时图 http://data.gtimg.cn/flashdata/hushen/minute/sz000001.js?maxage110&0.28163905744440854 五天分时图 http://data.gtimg.cn/flashdata/hushen/4day/sz/sz000002.js?maxage432…

移动端APP——微信(1)手机桌面控件和启动画面显示与隐藏

微信原型设计1:手机桌面控件和启动画面显示与隐藏 微信原型设计运用的是产品原型设计软件Axure RP Pro 7.0 版。 一、手机桌面绘制 手机的外壳和桌面、以及微信图标都是直接引用的图片库中图片,将元件库中的image拖入,并单击右键导入图片即…

android 那个桌面好,Hola桌面 可能是最好用的安卓手机桌面

如果你是一名安卓手机用户,你可能会有这样的感觉,手机自带的系统桌面一般都比较鸡肋,不能自定义自己喜欢的样式,或者说是扩展性不尽人意。如果你不甘心这一切,你也许尝试过一些手机桌面产品,但能让你一直坚…

android 如何自定义桌面,安卓手机桌面设置教程 个性化你的桌面

Android系统是一款功能非常的强大的全球智能手机操作系统!而相对于一些新手来说,熟练的操作安卓手机非常的难,那么下面我就安卓手机桌面设置来给新手用户一个简单的教程,让你的手机桌面变的更加的人性化! 随着谷歌Adro…

android 手机桌面,安卓手机桌面介绍:教你认识安卓手机桌面

一个新手拿到手机,开机后看到的第一个画面就是桌面了,想要玩转整个手机,那么就先把桌面的各个功能都了解下吧。一般来说,刚买的新手机都是用的自带桌面,不同品牌的手机也是各不相同,但是功能方面都是大同小…