点赞、关注再看，养成良好习惯
Life is short, U need Python
初学Python，快来点我吧
案例：Python爬取新冠肺炎实时数据及其可视化分析
作者：PyQuant
博客：https://blog.csdn.net/qq_33499889
慕课：https://mooc1-2.chaoxing.com/course/207443619.html
本案例适合作为大数据技术基础课程中数据爬取、清洗以及可视化部分的配套教学案例。通过本案例，能够达到以下教学效果：
-
培养学生爬取网站数据以及数据清洗、加工处理的能力。
- 案例中通过Python第三方库request获取网站实时数据，并利用pandas清洗数据为可视化数据做准备。
-
培养学生对真实数据进行可视化分析的能力。
- 案例中数据来源于网站爬取得到的新冠肺炎实时数据，对新冠肺炎感染者或疑似感染者等数据进行可视化分析。
-
帮助学生进一步掌握常用图表的绘制方法。
- 案例中涉及到折线图和柱状图等。
-
提高学生动手实践能力。
- 案例中使用Python中的常用可视化工具Matplotlib，提高学生绘制常用图表的实践能力。
1. 利用Python爬取实时数据
-
网站：https://news.qq.com/zt2020/page/feiyan.htm
-
原理：通过Requests获取Json请求，从而得到全国各省的疫情数据。
1.1 分析网站
-
通过浏览器 “审查元素” 查看源代码（右键单击网页地图选择‘审查元素’选项）及 “网络” 反馈的消息，如下图所示：
-
对应的HTTP信息如下所示：
1.2 发送请求并获取Json数据
通过分析url地址、请求方法、参数及响应格式，可以获取Json数据，注意url需要增加一个时间戳。
import time
import json
import requestsurl = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=&_=%d'%int(time.time()*1000)# 抓取腾讯疫情实时json数据
data = json.loads(requests.get(url=url).json()['data'])# 数据太多，打印一个键值对
print(data['lastUpdateTime'])
2020-03-11 16:46:29
2. 数据处理
2.1 认识数据
type(data),len(data)
(dict, 12)
print(data.keys())
dict_keys(['lastUpdateTime', 'chinaTotal', 'chinaAdd', 'isShowAdd', 'showAddSwitch', 'areaTree', 'chinaDayList', 'chinaDayAddList', 'dailyNewAddHistory', 'dailyHistory', 'wuhanDayList', 'articleList'])
# data['areaTree']
# data['areaTree'][0]
# 统计省份信息
num = data['areaTree'][0]['children']
# print(num)
print(num[0]) # 数据太多，打印部分
{'name': '湖北', 'today': {'confirm': 13, 'confirmCuts': 0, 'isUpdated': True, 'tip': ''}, 'total': {'confirm': 67773, 'suspect': 0, 'dead': 3046, 'deadRate': '4.49', 'showRate': False, 'heal': 49056, 'healRate': '72.38', 'showHeal': True}, 'children': [{'name': '武汉', 'today': {'confirm': 13, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 49978, 'suspect': 0, 'dead': 2423, 'deadRate': '4.85', 'showRate': False, 'heal': 33041, 'healRate': '66.11', 'showHeal': True}}, {'name': '孝感', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 3518, 'suspect': 0, 'dead': 126, 'deadRate': '3.58', 'showRate': False, 'heal': 3149, 'healRate': '89.51', 'showHeal': True}}, {'name': '黄冈', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 2907, 'suspect': 0, 'dead': 125, 'deadRate': '4.30', 'showRate': False, 'heal': 2684, 'healRate': '92.33', 'showHeal': True}}, {'name': '荆州', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 1580, 'suspect': 0, 'dead': 49, 'deadRate': '3.10', 'showRate': False, 'heal': 1442, 'healRate': '91.27', 'showHeal': True}}, {'name': '鄂州', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 1394, 'suspect': 0, 'dead': 54, 'deadRate': '3.87', 'showRate': False, 'heal': 1127, 'healRate': '80.85', 'showHeal': True}}, {'name': '随州', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 1307, 'suspect': 0, 'dead': 44, 'deadRate': '3.37', 'showRate': False, 'heal': 1151, 'healRate': '88.06', 'showHeal': True}}, {'name': '襄阳', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 1175, 'suspect': 0, 'dead': 38, 'deadRate': '3.23', 'showRate': False, 'heal': 1094, 'healRate': '93.11', 'showHeal': True}}, {'name': '黄石', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 1015, 'suspect': 0, 'dead': 38, 'deadRate': '3.74', 'showRate': False, 'heal': 917, 'healRate': '90.34', 'showHeal': True}}, {'name': '宜昌', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 931, 'suspect': 0, 'dead': 35, 'deadRate': '3.76', 'showRate': False, 'heal': 800, 'healRate': '85.93', 'showHeal': True}}, {'name': '荆门', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 928, 'suspect': 0, 'dead': 39, 'deadRate': '4.20', 'showRate': False, 'heal': 817, 'healRate': '88.04', 'showHeal': True}}, {'name': '咸宁', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 836, 'suspect': 0, 'dead': 14, 'deadRate': '1.67', 'showRate': False, 'heal': 812, 'healRate': '97.13', 'showHeal': True}}, {'name': '十堰', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 672, 'suspect': 0, 'dead': 8, 'deadRate': '1.19', 'showRate': False, 'heal': 604, 'healRate': '89.88', 'showHeal': True}}, {'name': '仙桃', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 575, 'suspect': 0, 'dead': 22, 'deadRate': '3.83', 'showRate': False, 'heal': 520, 'healRate': '90.43', 'showHeal': True}}, {'name': '天门', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 496, 'suspect': 0, 'dead': 15, 'deadRate': '3.02', 'showRate': False, 'heal': 473, 'healRate': '95.36', 'showHeal': True}}, {'name': '恩施州', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 252, 'suspect': 0, 'dead': 7, 'deadRate': '2.78', 'showRate': False, 'heal': 235, 'healRate': '93.25', 'showHeal': True}}, {'name': '潜江', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 198, 'suspect': 0, 'dead': 9, 'deadRate': '4.55', 'showRate': False, 'heal': 179, 'healRate': '90.40', 'showHeal': True}}, {'name': '神农架', 'today': {'confirm': 0, 'confirmCuts': 0, 'isUpdated': True}, 'total': {'confirm': 11, 'suspect': 0, 'dead': 0, 'deadRate': '0.00', 'showRate': False, 'heal': 11, 'healRate': '100.00', 'showHeal': True}}]}
hubei = num[0] # 湖北省
hubei.keys()
dict_keys(['name', 'today', 'total', 'children'])
hubei['total']
{'confirm': 67773,'suspect': 0,'dead': 3046,'deadRate': '4.49','showRate': False,'heal': 49056,'healRate': '72.38','showHeal': True}
henan = num[2] # 河南省
henan.keys()
dict_keys(['name', 'today', 'total', 'children'])
henan['total']
{'confirm': 1273,'suspect': 0,'dead': 22,'deadRate': '1.73','showRate': False,'heal': 1249,'healRate': '98.11','showHeal': True}
2.2 获取湖北省不同地区疫情确诊总数据
# hubei # 湖北所有数据信息
# hubei['children'] # 湖北不同地区数据
hubei['children'][0]['total'] # 武汉总数据
{'confirm': 49978,'suspect': 0,'dead': 2423,'deadRate': '4.85','showRate': False,'heal': 33041,'healRate': '66.11','showHeal': True}
其数据包括当日数据（today）和累计数据（total），confirm表示确诊、suspect表示疑似、dead表示死亡、heal表示治愈。
# 解析湖北省不同地区确诊的总数据
hubei_children_total_data = {}
for item in hubei['children']:if item['name'] not in hubei_children_total_data:hubei_children_total_data.update({item['name']:0})hubei_children_total_data[item['name']] += int(item['total']['confirm'])
print(hubei_children_total_data)
{'武汉': 49978, '孝感': 3518, '黄冈': 2907, '荆州': 1580, '鄂州': 1394, '随州': 1307, '襄阳': 1175, '黄石': 1015, '宜昌': 931, '荆门': 928, '咸宁': 836, '十堰': 672, '仙桃': 575, '天门': 496, '恩施州': 252, '潜江': 198, '神农架': 11}
2.3 获取河南省不同地区疫情确诊总数据
# henan # 河南所有数据信息
# henan['children'] # 河南不同地区分数据
henan['children'][1]['total'] # 郑州总数据
{'confirm': 158,'suspect': 0,'dead': 5,'deadRate': '3.16','showRate': False,'heal': 152,'healRate': '96.20','showHeal': True}
# 解析河南省不同地区确诊的总数据
henan_children_total_data = {}
for item in henan['children']:if item['name'] not in henan_children_total_data:henan_children_total_data.update({item['name']:0})henan_children_total_data[item['name']] += int(item['total']['confirm'])
print(henan_children_total_data)
{'信阳': 274, '郑州': 158, '南阳': 156, '驻马店': 139, '商丘': 91, '周口': 76, '平顶山': 58, '新乡': 57, '安阳': 53, '许昌': 39, '漯河': 35, '焦作': 32, '洛阳': 31, '开封': 26, '鹤壁': 19, '濮阳': 17, '三门峡': 7, '济源示范区': 5, '地区待确认': 0}
2.4 获取全国各省疫情确诊总数据
num[0]['total'] # 湖北省总数据
{'confirm': 67773,'suspect': 0,'dead': 3046,'deadRate': '4.49','showRate': False,'heal': 49056,'healRate': '72.38','showHeal': True}
# 解析每个省份确诊的总人数
total_data = {}
for item in num:if item['name'] not in total_data:total_data.update({item['name']:0})for city_data in item['children']:total_data[item['name']] += int(city_data['total']['confirm'])
print(total_data)
{'湖北': 67773, '广东': 1353, '河南': 1273, '浙江': 1215, '湖南': 1018, '安徽': 990, '江西': 935, '山东': 760, '江苏': 631, '重庆': 576, '四川': 539, '黑龙江': 482, '北京': 435, '上海': 344, '河北': 318, '福建': 296, '广西': 252, '陕西': 245, '云南': 174, '海南': 168, '贵州': 146, '天津': 136, '山西': 133, '香港': 126, '甘肃': 125, '辽宁': 125, '吉林': 93, '新疆': 76, '内蒙古': 75, '宁夏': 75, '台湾': 48, '青海': 18, '澳门': 10, '西藏': 1}
3. Matplotlib绘制柱状图
3.1 绘制湖北省不同地区确诊总数据的柱状图
print(hubei_children_total_data)
{'武汉': 49978, '孝感': 3518, '黄冈': 2907, '荆州': 1580, '鄂州': 1394, '随州': 1307, '襄阳': 1175, '黄石': 1015, '宜昌': 931, '荆门': 928, '咸宁': 836, '十堰': 672, '仙桃': 575, '天门': 496, '恩施州': 252, '潜江': 198, '神农架': 11}
hb_names = hubei_children_total_data.keys()
hb_numbers = hubei_children_total_data.values()
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams['font.sans-serif'] = ['simhei'] # 用来正常显示中文标签# 绘图
plt.figure(figsize=[12,8])plt.bar(hb_names,hb_numbers)plt.xlabel("地区", size=12)
plt.ylabel("人数", fontproperties='SimHei', rotation=90, size=12)
plt.title("湖北省不同地区疫情确诊数对比图", size=16)
plt.xticks(list(hb_names), rotation=90, size=12)plt.show()
3.2 绘制河南省不同地区确诊总数据的柱状图
print(henan_children_total_data)
{'信阳': 274, '郑州': 158, '南阳': 156, '驻马店': 139, '商丘': 91, '周口': 76, '平顶山': 58, '新乡': 57, '安阳': 53, '许昌': 39, '漯河': 35, '焦作': 32, '洛阳': 31, '开封': 26, '鹤壁': 19, '濮阳': 17, '三门峡': 7, '济源示范区': 5, '地区待确认': 0}
hn_names = henan_children_total_data.keys()
hn_numbers = henan_children_total_data.values()
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams['font.sans-serif'] = ['simhei'] # 用来正常显示中文标签# 绘图
plt.figure(figsize=[12,8])plt.bar(hn_names,hn_numbers)plt.xlabel("地区", size=12)
plt.ylabel("人数", fontproperties='SimHei', rotation=90, size=12)
plt.title("河南省不同地区疫情确诊数对比图", size=16)
plt.xticks(list(hn_names), rotation=90, size=12)plt.show()
3.3 绘制中国不同省份确诊总数据的柱状图
names = total_data.keys()
print(names)
dict_keys(['湖北', '广东', '河南', '浙江', '湖南', '安徽', '江西', '山东', '江苏', '重庆', '四川', '黑龙江', '北京', '上海', '河北', '福建', '广西', '陕西', '云南', '海南', '贵州', '天津', '山西', '香港', '甘肃', '辽宁', '吉林', '新疆', '内蒙古', '宁夏', '台湾', '青海', '澳门', '西藏'])
numbers = total_data.values()
print(numbers)
dict_values([67773, 1353, 1273, 1215, 1018, 990, 935, 760, 631, 576, 539, 482, 435, 344, 318, 296, 252, 245, 174, 168, 146, 136, 133, 126, 125, 125, 93, 76, 75, 75, 48, 18, 10, 1])
import matplotlib.pyplot as plt
import numpy as np
plt.rcParams['font.sans-serif'] = ['simhei'] # 用来正常显示中文标签# 绘图
plt.figure(figsize=[12,8])plt.bar(names,numbers)plt.xlabel("地区", size=12)
plt.ylabel("人数", fontproperties='SimHei', rotation=90, size=12)
plt.title("中国不同省份疫情确诊数对比图", size=16)
plt.xticks(list(names), rotation=90, size=12)plt.show()
补充：
- 同样可以获得其他省份的柱状图（只要做适当调整即可）；
- 同样也可以获得不同数据对应的柱状图（如疑似数据、死亡数据和出院数据等）。
4. 绘制中国疫情趋势图
类似以上方法可以爬取到中国疫情不同日期的历史数据资料（只要把下图中步骤5下面的URL替换掉即可）。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BUtcM3Gz-1583918215651)(D:\zgq\Anaconda3\3–网络爬虫–经典案例\22.png)]
from pandas.plotting import register_matplotlib_converters
register_matplotlib_converters()
import time
import json
import requests
from datetime import datetimeurl = 'https://view.inews.qq.com/g2/getOnsInfo?name=wuwei_ww_cn_day_counts&callback=&_=%d'%int(time.time()*1000)
data = json.loads(requests.get(url=url).json()['data'])
data.sort(key=lambda x:x['date'])date_list = list() # 日期
confirm_list = list() # 确诊
suspect_list = list() # 疑似
dead_list = list() # 死亡
heal_list = list() # 治愈
for item in data:month, day = item['date'].split('/')date_list.append(datetime.strptime('2020-%s-%s'%(month, day), '%Y-%m-%d'))confirm_list.append(int(item['confirm']))suspect_list.append(int(item['suspect']))dead_list.append(int(item['dead']))heal_list.append(int(item['heal']))
import matplotlib.pyplot as plt
import matplotlib.dates as mdatesplt.rcParams['font.sans-serif'] = ['simhei'] # 用来正常显示中文标签plt.figure(figsize=(12, 8))
plt.title('2019-2020年新冠肺炎疫情曲线图', fontsize=16)plt.plot(date_list, confirm_list, 'r-', label='确诊')
plt.plot(date_list, confirm_list, 'rs')plt.plot(date_list, suspect_list, 'b-',label='疑似')
plt.plot(date_list, suspect_list, 'b*')plt.plot(date_list, dead_list, 'y-', label='死亡')
plt.plot(date_list, dead_list, 'y+')plt.plot(date_list, heal_list, 'g-', label='治愈')
plt.plot(date_list, heal_list, 'gd')plt.gca().xaxis.set_major_formatter(mdates.DateFormatter('%m-%d')) # 格式化时间轴标注
plt.gcf().autofmt_xdate() # 优化标注（自动倾斜）
plt.grid(axis='x') # 显示网格
plt.legend() # 显示图例plt.show()
5. 小结
以上就是通过Python爬取新冠肺炎数据并进行可视化分析的实战案例，由于时间关系暂时先分析到这里，后续将会对河南省不同时期的新冠肺炎历史数据进行可视化分析（利用PyEcharts包进行动态图分析）！
迫不及待中。。。
补充：
Matplotlib中不同参数可以得到不同的效果，更加美观的绘图方法参见 官网。
- Matplotlib官网：https://matplotlib.org/
- Seaborn官网：https://seaborn.pydata.org/
- Pandas官网：https://pandas.pydata.org/
- Plotly官网：https://plot.ly/
- 写作不易，切勿白剽
- 博友们的点赞和关注就是对博主坚持写作的最大鼓励
- 持续更新，未完待续…
![[Pyhon疫情大数据分析] 四.微博话题抓取及新冠肺炎疫情文本挖掘和情感分析](https://img-blog.csdnimg.cn/20200321143724497.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0Vhc3Rtb3VudA==,size_16,color_FFFFFF,t_70#pic_center)
