头歌-机器学习 第13次实验 特征工程——共享单车之租赁需求预估

第1关：数据探索与可视化

任务描述

本关任务：编写python代码，完成一天中不同时间段的平均租赁数量的可视化功能。

相关知识

为了完成本关任务，你需要掌握：

  • 读取数据
  • 数据探索与可视化
读取数据

数据保存在./step1/bike_train.csv中，共享单车的训练集数据总共有8709个训练样本，训练样本中有12个特征(其中count为标签)。特征说明如下：

  • datetime：时间。年月日小时格式
  • season：季节。1：春天；2：夏天；3：秋天；4：冬天
  • holiday：是否节假日。0：否；1：是
  • workingday：是否工作日。0：否；1：是
  • weather：天气。1：晴天；2：阴天；3：小雨或小雪；4：恶劣天气
  • temp：实际温度
  • atemp：体感温度
  • humidity：湿度
  • windspeed：风速
  • casual：未注册用户租车数量
  • registered：注册用户租车数量
  • count：总租车数量

想要读取数据很简单，使用pandas即可，代码如下：

 

  1. import pandas as pd
  3. train_df = pd.read_csv('./step1/bike_train.csv')
  5. # 打印数据中的前5行
  6. print(train_df.head(5))
 

输出如下图所示：
 

 

 

数据探索与可视化
 

一般拿到数据之后都需要做数据探索(EDA)，因为我们需要看看数据到底长什么样子，有什么特性是可以挖掘出来的。假设我们需要看看数据的大概分布是什么样的。可以用pandas提供的describe()函数。输出如下：
 

 

 

此时我们能看到count的标准差很大，我们可以将count的数据分布可视化出来，代码如下：
 

 

  1. import matplotlib.pyplot as plt
  3. plt.figure(figsize=(10,10))
  4. # 画count的直方图
  5. plt.hist(train_df['count'],bins=20)
  6. plt.title('count histgram')
  7. plt.xlabel('count')
 

可视化结果如下：
 

 

 

从可视化结果可以看出，count的整体的分布倾斜比较严重，需要处理一下，不然可能过拟合会有点严重。此时我们可以考虑将count的数值在3个标准差之外的样本给扔掉，减少训练集中的噪声，并对count做log变换。代码如下：
 

 

  1. import matplotlib.pyplot as plt
  2. import numpy as np
  3. import seaborn as sns
  5. # 筛选3个标准差以内的数据
  6. train_df=train_df[np.abs(train_df['count']-train_df['count'].mean())<=3*train_df['count'].std()]
  8. # log变换
  9. y=train_df['count'].values
  10. y_log=np.log(y)
  12. # 可视化
  13. sns.distplot(y_log)
  14. plt.title('distribution of count after log')
 

处理后可视化结果如下：
 

 

 

可以从可视化结果看出，转换过后，count的分布倾斜没有那么严重了，差异也变小了。
 

接下来我们看看其他的一些特征对于共享单车租赁量的影响。
 

首先来看看季节对于租赁量的影响，代码如下：
 

 

  1. day_df=train_df.groupby('date').agg({'season':'mean',
  2. 'casual':'sum', 'registered':'sum',
  3. 'count':'sum','temp':'mean',
  4. 'atemp':'mean','workingday':'mean','holiday':'mean'})
  5. season_day_mean=day_df.groupby(['season'],as_index=True).agg({'casual':'mean', 'registered':'mean','count':'mean'})
  6. temp_df = day_df.groupby(['season'], as_index=True).agg({'temp':'mean', 'atemp':'mean'})
  7. season_day_mean.plot(figsize=(15,9),xticks=range(1,4))
  8. plt.title('count in different season')
 

可视化结果如下：
 

 

 

从可视化结果可以看出，临时用户和注册用户用车数量变化趋势大体一致，且两年间都在秋季左右达到了比较高的用车辆，说明美国人也都比较喜欢在这段时间外出游玩。这是符合常理的。
 

接下来看看天气对租赁数量的影响，代码如下：
 

 

  1. weather_group=train_df.groupby(['weather'])
  2. weather_count=weather_group[['count','registered','casual']].count()
  3. weather_mean=weather_group[['count','registered','casual']].mean()
  5. # 不同天气的每小时平均租赁数量
  6. weather_mean.plot.bar(stacked=True,title='count per hour in different weather')
 

可视化结果如下：
 

 

 

讲道理，天气比较好的时侯，骑共享单车的人才比较多。但上图中像4(恶劣天气)这种天气的租赁数量也比较高，这是不是有点反常呢？我们可以从数据集中找出对应的数据看看，代码如下:
 

 

  1. print(train_df.loc[train_df.weather==4])
 

数据结果如下：
 

 

 

数据的时间是下午6点，刚好是下班的高峰期，所以能够理解为什么这条数据对应的租赁量均值那么高了，这也是符合常理的。
 

那么一天中不同时间段对于租赁数量有什么样的影响呢？这个就留给你做练习吧。
 

编程要求
 

根据提示，在右侧编辑器Begin-End处补充代码，将./step1/bike_train.csv中的数据按照hour这个特征分组，然后求每一组的count的平均值。并使用matplotlib.pyplot绘制折线图，并保存到./step1/result/plot.png。
 

测试说明
 

平台会对你生成的折线图与正确答案进行比对，因此请按照以下要求可视化：
 

  • 折线图的figsize为(10, 10)
  • 折线图的标题为average count per hour
 

测试输入： 预期输出：你的答案与正确答案一致
 

import pandas as pd
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt#********* Begin *********#
import pandas as pdimport matplotlib.pyplot as plttrain_df = pd.read_csv('./step1/bike_train.csv')train_df['hour'] = train_df.datetime.apply(lambda x:x.split()[1].split(':')[0]).astype('int')group_hour=train_df.groupby(train_df.hour)hour_mean=group_hour[['count','registered','casual']].mean()fig=plt.figure(figsize=(10,10))plt.plot(hour_mean['count'])plt.title('average count per hour')plt.savefig('./step1/result/plot.png')#********* End *********#

 

第2关：特征工程
 

任务描述
 

本关任务：编写python代码，完成时间细化的功能。
 

相关知识
 

为了完成本关任务，你需要掌握：
 

  • 相关性分析
  • 特征选择
 

相关性分析
 

在选择特征之前，我们可以看看各个特征相关性的强弱。代码如下：
 

 

  1. # 计算特征对的相关性
  2. corr_df=train_df.corr()
  3. corr_df1=abs(corr_df)
  5. # 画热力图
  6. fig=plt.gcf()
  7. fig.set_size_inches(30,12)
  8. sns.heatmap(data=corr_df1,square=True,annot=True,cbar=True)
 

相关性热力图如下(其中颜色越亮，代表线性相关性越高)：
 

 

 

选择特征
 

在使用相关性这一指标来选择特征时，通常选择相关性较低，也就是颜色较暗的特征。因为如果选择相关性较高的，比如temp和atemp。从图可以看出这两个特征的相关性很高，也就是说在训练模型的时候，这两个特征所对应的权重是成比例的。既然成比例，那么之选其中一个就行了。
 

根据热力图我们暂且可以选择时段（hour）、温度（temp）、湿度（humidity）、季节（season）、天气（weather）、风速（windspeed）、是否工作日（workingday）、是否假日（holiday 、注册用户租赁数量(registered)作为特征。
 

编程要求
 

现在可能觉得datetime这个字段有必要再细化挖掘一下，比如细化成年份、月份、日期、星期几等。
 

根据提示，在右侧编辑器Begin-End处补充代码，实现transform_data函数。该函数需要你将train_df中的datetime字段进行细化，细化成year(年份)、month(月份)、date(日期)、weekdat(星期几)、hour(小时)。并返回细化后的DataFrame。
 

例如，原始数据如下：
 

 

 

细化后数据如下:
 

 

 

测试说明
 

平台会对你返回的DataFrame与答案进行比对，您只需实现transform_data即可。
 

测试输入： 预期输出：你的答案与正确答案一致。
 

import pandas as pd
import numpy as np
from datetime import datetimedef transform_data(train_df):'''将train_df中的datetime划分成year、month、date、weekday、hour:param train_df:从bike_train.csv中读取的DataFrame:return:无'''#********* Begin *********#train_df['date'] = train_df.datetime.apply(lambda x:x.split()[0])train_df['hour'] = train_df.datetime.apply(lambda x:x.split()[1].split(':')[0]).astype('int')train_df['year'] = train_df.datetime.apply(lambda x:x.split()[0].split('-')[0]).astype('int')train_df['month'] = train_df.datetime.apply(lambda x: x.split()[0].split('-')[1]).astype('int')train_df['weekday'] = train_df.date.apply(lambda x: datetime.strptime(x, '%Y-%m-%d').isoweekday())return train_df#********* End **********#

 

第3关：租赁需求预估
 

任务描述
 

本关任务：编写python代码，实现租赁需求预估。
 

相关知识
 

为了完成本关任务，你需要掌握：
 

  • 独热编码
  • sklearn机器学习算法的使用
  • 生成预测结果
 

独热编码
 

一般来说，代表类型型的特征我们需要对其进行独热编码。像数据中季节这种类别型的特征，应该使用独热编码。因为如果使用原始的1、2、3、4的话，机器学习算法可能会认为4这个季节更重要。为了防止这种偏见，我们就需要对其进行独热编码。
 

独热编码其实很简单，就是将待编码的特征的所有可能的取值列出来，然后再在对应的位置上填1，其他位置填0。可以看成是二进制的一种变形。
 

比如有4个样本的season分别为2、2、2、1。如下图所示：
 

 

 

那么将其独热编码后，如下图所示(第1行到第3行的season=2，所以编码后，每行的season_2这一列为1，其他列为0。而第4行的season=1，所以编码后，season_1这一列为1，其他列为0)：
 

 

 

代码如下：
 

 

  1. import pandas as pd
  3. # 将train_df中的season这一列进行独热编码
  4. dummies_season = pd.get_dummies(train_df['season'], prefix='season')
  6. # 打印
  7. print(dummies_season)
 

sklearn机器学习算法的使用
 

sklearn中提供了非常多的机器学习算法的接口，例如逻辑回归、弹性网络、随机森林等等。而且使用起来非常简单，只需要fit、predict二连即可。而本关是对共享单车的租赁需求量做预测，所以这是一个回归问题。在这里给出sklearn解决回归问题的示例代码：
 

 

  1. from sklearn.linear_model import Ridge
  3. # 实例化Ridge回归对象
  4. ridge = Ridge(alpha=1.0)
  6. # 使用训练集的数据和标签训练
  7. ridge.fit(train_df, train_label)
  9. # 对测试集数据进行预测
  10. pred_result = ridge.predict(test_df)
 

生成预测结果
 

想要将预测结果保存到文件中，可以使用pandas来实现，示例代码如下:
 

 

  1. import pandas as pd
  3. # 构建DataFrame，pred_result为机器学习算法的预测结果
  4. result = pd.DataFrame({'count':pred_result})
  6. # 将DataFrame保存成result.csv，并且保存时不保留index
  7. result.to_csv('./result.csv', index=False)
 

编程要求
 

根据提示，在右侧编辑器补充代码。代码主要任务如下：
 

  • 读取./step3/bike_train.csv中的数据作为训练集，读取./step3/bike_test.csv中的数据作为测试集
  • 将数据处理成你想要的样子
  • 使用sklearn对训练集数据进行训练，并对测试集进行预测
  • 将预测结果保存至./step3/result.csv
 

测试说明
 

平台会计算你保存的./step3/result.csv的r2 score。若r2 score高于0.95视为过关。
 

测试输入： 预期输出：你的预测结果的r2 score高于0.95
 

PS:./step3/result.csv中需要两列。一列为datetime，另一列为count。其中datetime为./step3/bike_test.csv中的datetime，count为你的预测结果。如：
 

 

 

 

#********* Begin *********#  
import pandas as pd  
import numpy as np  
from datetime import datetime  
from sklearn.linear_model import Ridge
train_df = pd.read_csv('./step3/bike_train.csv')
# 舍弃掉异常count  
train_df=train_df[np.abs(train_df['count']-train_df['count'].mean())<=3*train_df['count'].std()]
# 训练集的时间数据处理
train_df['date']=train_df.datetime.apply(lambda x:x.split()[0])  
train_df['hour']=train_df.datetime.apply(lambda x:x.split()[1].split(':')[0]).astype('int')  
train_df['year']=train_df.datetime.apply(lambda x:x.split()[0].split('-')[0]).astype('int')  
train_df['month']=train_df.datetime.apply(lambda x:x.split()[0].split('-')[1]).astype('int')  
train_df['weekday']=train_df.date.apply( lambda x : datetime.strptime(x,'%Y-%m-%d').isoweekday())
# 独热编码  
train_df_back=train_df  
dummies_month = pd.get_dummies(train_df['month'], prefix='month')  
dummies_year = pd.get_dummies(train_df['year'], prefix='year')  
dummies_season = pd.get_dummies(train_df['season'], prefix='season')  
dummies_weather = pd.get_dummies(train_df['weather'], prefix='weather')
train_df_back = pd.concat([train_df, dummies_month,dummies_year, dummies_season,dummies_weather], axis = 1)
train_label = train_df_back['count']  
train_df_back = train_df_back.drop(['datetime', 'season', 'weather', 'atemp', 'date', 'month', 'count'], axis=1)
test_df = pd.read_csv('./step3/bike_test.csv')
# 测试集的时间数据处理  
test_df['date']=test_df.datetime.apply(lambda x:x.split()[0])  
test_df['hour']=test_df.datetime.apply(lambda x:x.split()[1].split(':')[0]).astype('int')  
test_df['year']=test_df.datetime.apply(lambda x:x.split()[0].split('-')[0]).astype('int')  
test_df['month']=test_df.datetime.apply(lambda x:x.split()[0].split('-')[1]).astype('int')  
test_df['weekday']=test_df.date.apply( lambda x : datetime.strptime(x,'%Y-%m-%d').isoweekday())
# 独热编码
test_df_back=test_df  
dummies_month = pd.get_dummies(test_df['month'], prefix='month')  
dummies_year = pd.get_dummies(test_df['year'], prefix='year')  
dummies_season = pd.get_dummies(test_df['season'], prefix='season')  
dummies_weather = pd.get_dummies(test_df['weather'], prefix='weather')
test_df_back = pd.concat([test_df, dummies_month,dummies_year, dummies_season,dummies_weather], axis = 1)  
test_df_back = test_df_back.drop(['datetime', 'season', 'weather', 'atemp', 'date', 'month'], axis=1)
clf = Ridge(alpha=1.0)
# 训练  
clf.fit(train_df_back, train_label)  
# 预测  
count = clf.predict(test_df_back)
# 保存结果  
result = pd.DataFrame({'datetime':test_df['datetime'], 'count':count})  
result.to_csv('./step3/result.csv', index=False)  
#********* End *********#  

 












本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.rhkb.cn/news/309806.html


如若内容造成侵权/违法违规/事实不符，请联系长河编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！











相关文章










Linux C应用编程：MQTT物联网








Linux C应用编程：MQTT物联网




1 MQTT通信协议 
MQTT&#xff08;Message Queuing Telemetry Transport&#xff0c;消息队列遥测传 输&#xff09;是一种基于客户端-服务端架构的消息传输协议&#xff0c;如今&#xff0c;MQTT 成为了最受欢迎的物联网协议&#xff0c;已广泛应用于车联网、智能家居、即时聊…




阅读更多...

















不想升级到win11要怎么取消,怎么拒绝升级win11








不想升级到win11要怎么取消,怎么拒绝升级win11




微软公布了一个会导致win11数据损坏的罪魁祸首，受到影响的win11系统，是搭载了支持最新VAES指令集的处理器。这次的bug是坑了intel用户呀，Intel从10代酷睿(Ice Lake )和第三代至强可扩展处理器(IceLake-SP)开始才添加了对VAES的支持，AMD这边则是Zen 3锐龙5000，它也是AVX-51…




阅读更多...

















太好玩了，我用 Python 做了一个 ChatGPT 机器人








太好玩了，我用 Python 做了一个 ChatGPT 机器人




毫无疑问&#xff0c;ChatGPT 已经是当下编程圈最火的话题之一&#xff0c;它不仅能够回答各类问题&#xff0c;甚至还能执行代码&#xff01; 或者是变成一只猫  
因为它实在是太好玩&#xff0c;我使用Python将ChatGPT改造&#xff0c;可以实现在命令行或者Python代码中调用。…




阅读更多...

















手动实现简易版RPC(上)








手动实现简易版RPC(上)




手动实现简易版RPC(上) 
前言 
什么是RPC&#xff1f;它的原理是什么&#xff1f;它有什么特点&#xff1f;如果让你实现一个RPC框架&#xff0c;你会如何是实现&#xff1f;带着这些问题&#xff0c;开始今天的学习。 
本文主要介绍RPC概述以及一些关于RPC的知识&#xff0c;为…




阅读更多...

















【电子通识】吸锡带/线的作用和替代方法








【电子通识】吸锡带/线的作用和替代方法




吸锡带简介 吸锡带(或称吸锡线、脱焊织物)是手工焊接的好助手，手焊或维修时吸锡带能够去除电路板上多余焊锡，减少了电子产品的返工和修理的时间，降低了烙铁对电路板造成过热损伤的危险，因此是一个既廉价又有效的物品。 市面上卖的最多的的吸锡带类型如下所示： 吸锡带的选型…




阅读更多...

















普乐蛙VR神州飞船设备VR太空舱体验馆VR博物馆








普乐蛙VR神州飞船设备VR太空舱体验馆VR博物馆




中国航天式浪漫知多少&#xff1f;千百年来古人对浩瀚宇宙有着无尽的浪漫想象&#xff0c;而在一代又一代中国航天事业奋斗者的努力中&#xff0c;远古神话不再是幻想&#xff0c;它终被照进现实——中国载人飞船“神舟”、中国载人空间站“天宫”、中国绕月人造卫星“嫦娥一号…




阅读更多...

















二叉树例题分享








二叉树例题分享




文章目录 二叉树例题分享[235. 二叉搜索树的最近公共祖先](https://leetcode.cn/problems/lowest-common-ancestor-of-a-binary-search-tree/)[701. 二叉搜索树中的插入操作](https://leetcode.cn/problems/insert-into-a-binary-search-tree/)[108. 将有序数组转换为二叉搜索树…




阅读更多...

















python怎么输出小数








python怎么输出小数




先将整型转换成float型&#xff0c;再进行计算&#xff0c;结果就有小数了。 >>> a  10
>>> b  4
>>> c  a/b
>>> a,b,c
(10, 4, 2)
>>> a  float(a)
>>> d  a/b
>>> a,b,d
(10.0, 4, 2.5)
>>> 注意&…




阅读更多...

















LabVIEW闭环步进电机运动系统设计及精度分析








LabVIEW闭环步进电机运动系统设计及精度分析




LabVIEW闭环步进电机运动系统设计及精度分析 
在自动化设备不断发展的当代&#xff0c;闭环步进电机以其高精度和可靠性成为了自动化设备的重要组成部分。以LabVIEW软件为核心&#xff0c;结合运动控制卡及驱动器模块&#xff0c;设计并实现了一个闭环步进电机的多轴运动控制系…




阅读更多...

















speccpu2017安装与使用








speccpu2017安装与使用




国产化桌面下Speccpu2017安装与使用 1、 安装依赖库 安装speccpu2017前需要安装依赖包&#xff0c;通过终端命令对依赖包进行安装 sudo apt-get install gcc g gfortran  &#xff08;以上是已经安装好的&#xff09; 注&#xff1a;若安装不上&#xff0c;需替换/etc/apt下的s…




阅读更多...

















架构师系列-搜索引擎ElasticSearch（七）- 集群管理之分片








架构师系列-搜索引擎ElasticSearch（七）- 集群管理之分片




集群健康检查 
Elasticsearch 的集群监控信息中包含了许多的统计数据&#xff0c;其中最为重要的一项就是集群健康&#xff0c;它在 status字段中展示为 green&#xff08;所有主分片和副本分片都正常&#xff09;、yellow&#xff08;所有数据可用&#xff0c;有些副本分片尚未…




阅读更多...

















nodejs解析url参数








nodejs解析url参数




需要引入 url 模块&#xff1b; 
var http  require(http);
var url  require(url);http.createServer(function (req, res) {res.writeHead(200, {Content-Type: text/plain});// 解析 url 参数var params  url.parse(req.url, true).query;res.write("name: "  par…




阅读更多...

















IMU用于识别截肢者步态








IMU用于识别截肢者步态




最近&#xff0c;一个来自秘鲁天主教大学的研究小组利用了IMU和EMG传感器技术&#xff0c;对截肢者和非截肢者的行走方式进行区分和分类研究&#xff0c;其目标在于优化智能假肢的功能表现&#xff0c;从而提升穿戴者的生活质量及活动能力。 
该实验采用了全面的数据集分布策略…




阅读更多...

















ODI（境外投资备案）作用、类别和申请流程详解








ODI（境外投资备案）作用、类别和申请流程详解




中国企业越来越多地选择在境外进行投资&#xff0c;而国家相关部门也出台了多项政策以规范这一行为。在进行海外投资前&#xff0c;企业必须在政策指导下进行合法操作并办理相应手续&#xff0c;其中ODI&#xff08;境外投资备案&#xff09;是其中一种最常见的方式之一。  
以…




阅读更多...

















接口自动化入门：JSON中的万能密码 —— JSON Path解析！








接口自动化入门：JSON中的万能密码 —— JSON Path解析！




JSON (JavaScript Object Notation) 是一种常用的数据格式&#xff0c;用来存储和传输结构化的数据。在接口自动化中&#xff0c;我们经常需要对返回的 JSON 数据进行解析&#xff0c;以提取需要的信息。JSON Path 是一种用于查询和筛选 JSON 数据的表达式语言&#xff0c;类似…




阅读更多...

















腾讯客户端开发实习一面








腾讯客户端开发实习一面




听说腾讯25年5000offer&#xff0c;我就去了...投完简历&#xff0c;当天晚上做完测评&#xff0c;第二天下午打电话约了第三天面试&#xff0c;额流程很快&#xff0c;快到第三天就寄了... 写在这里做个记录&#xff0c;也可以给学习学妹们经验&#xff0c;文末也有大厂面经合…




阅读更多...

















【深入理解Java IO流0x09】解读Java NIO核心知识（下篇）








【深入理解Java IO流0x09】解读Java NIO核心知识（下篇）




1. NIO简介 
在开始前&#xff0c;让我们再简单回顾一下NIO。 在传统的 Java I/O 模型&#xff08;BIO&#xff09;中&#xff0c;I/O 操作是以阻塞的方式进行的。也就是说&#xff0c;当一个线程执行一个 I/O 操作时&#xff0c;它会被阻塞直到操作完成。这种阻塞模型在处理多…




阅读更多...

















火绒安全的用法








火绒安全的用法




火绒安全软件是一款综合性的电脑安全防护工具&#xff0c;提供了病毒查杀、系统防护、网络安全等多种功能&#xff0c;以帮助用户保护电脑免受恶意软件和网络威胁的侵害。以下是火绒安全软件的一些主要用法&#xff1a; 病毒查杀&#xff1a;火绒安全软件提供全盘查杀、快速查杀…




阅读更多...

















Nvidia DGX 系统分析和探讨








Nvidia DGX 系统分析和探讨




NVIDIA DGX 互联结构 NVIDIA DGX 是Nvidia 推出的turnkey 解决方案&#xff0c;其中按照组合关系: 
DGX GB200 System: NVL72 36 Nvidia Grace CPU72 BlackWell GPU每台机柜包含18 个GB200 计算节点&#xff0c;每个节点包含2 个GB200s9 个NVSwitches Tray 节点&#xff0c;每个…




阅读更多...

















MyBatis-Spring整合








MyBatis-Spring整合




引入Spring之前需要了解mybatis-spring包中的一些重要类&#xff1b; 
http://www.mybatis.org/spring/zh/index.html 什么是 MyBatis-Spring&#xff1f; 
MyBatis-Spring 会帮助你将 MyBatis 代码无缝地整合到 Spring 中。 
知识基础 
在开始使用 MyBatis-Spring 之前&#x…




阅读更多...


















最新文章












推荐文章


















Copyright @ 2022~2023