加州房价篇 (一) : 了解数据

让我们先从加利福尼亚州的房价说起

如果没有接触过机器学习，需要先进行环境配置

在每次开始之前都需要先运行以下代码,不报错方可继续

# Python 的版本需要大于3.5 
import sys
assert sys.version_info >= (3, 5)# Scikit-Learn的版本需要大于0.20
import sklearn
assert sklearn.__version__ >= "0.20"import numpy as np
import os#绘图设置
%matplotlib inline
import matplotlib as mpl
import matplotlib.pyplot as plt
mpl.rc('axes', labelsize=14)
mpl.rc('xtick', labelsize=12)
mpl.rc('ytick', labelsize=12)

在python中，import 表示要用到别人写的代码，比如上边代码块的第一个import ，import sys,就表示要用到别人写的sys

假设我们现在是XX地产加利福尼亚州分公司的房价分析师，老板打算找个地区投资一块地，让我们分析并预测加利福尼亚各地区的房价，老板好决定投资哪一块地

传统的分析方法需要有一个团队，对各地区的房屋信息进行分析，比较复杂，但是如果运用机器学习的方法，咱们只需要一个人就够了

了解数据

假设负责数据收集的同事已经将收集好的一些地区房价数据打包上传好了，让我们下载下来

# 本块代码现在无需理解，复制粘贴执行即可
import os
import tarfile
import urllib.requestDOWNLOAD_ROOT = "https://gitee.com/yang-yizhou/dayangai/raw/master/"
HOUSING_PATH = os.path.join("datasets", "housing")
HOUSING_URL = DOWNLOAD_ROOT + "datasets/housing/housing.tgz"def fetch_housing_data(housing_url=HOUSING_URL, housing_path=HOUSING_PATH):if not os.path.isdir(housing_path):os.makedirs(housing_path)tgz_path = os.path.join(housing_path, "housing.tgz")opener = urllib.request.URLopener()opener.addheader('User-Agent', 'whatever')opener.retrieve(housing_url, tgz_path)housing_tgz = tarfile.open(tgz_path)housing_tgz.extractall(path=housing_path)housing_tgz.close()

运行定义好的函数来下载

#报错就多运行几次
fetch_housing_data()

再定义加载数据的函数

# 本块代码现在无需理解，复制粘贴执行即可
import pandas as pddef load_housing_data(housing_path=HOUSING_PATH):csv_path = os.path.join(housing_path, "housing.csv")return pd.read_csv(csv_path)

用定义好的函数加载数据

housing = load_housing_data()

这样，我们同事收集来的数据已经放在了housing中，我们来看一下housing的类型

type(housing)

输出:pandas.core.frame.DataFrame

housing是个DataFrame,译作数据集，对这个数据集我们可以通过“.”这个符号进行很多操作，比如

housing.head()

输出：
在这里插入图片描述

这样就输出了数据集上边(头部,head)的五个数据

可以看到，事无巨细，我们的同事把加州各个地区诸如房屋的均价，经纬度，距离海洋远近，总的房间数，人口等数据都收集到了,每一列我们称作一个特征(feature)

非常好！

但我们还得检查一下有无缺漏

housing.info()

输出：
在这里插入图片描述

看完housing的infomation,我们发现事情并不总是尽善尽美，housing这个数据集有两个问题

第一点：4号特征total_bedrooms只有20433个 non-null(数据存在)，那就意味着还有207个数据是缺失的。

第二点：9号特征ocean_proximity ,dtype(类型)是object(不是数字)，那我们就不能直接用机器学习的模型进行处理。

这两个问题是我们在了解数据部分发现的，暂且按下不表，我们会在数据处理的部分解决掉它们

房价的预测明显和地理位置有着紧密的联系，我们不妨用经纬度来作图，每一个点代表一个统计好的地区，看看地理分布

housing.plot(kind="scatter", x="longitude", y="latitude")

输出：
在这里插入图片描述

不太直观，试试用alpha修改下每个点的透明度

housing.plot(kind="scatter", x="longitude", y="latitude", alpha=0.1)

输出：
在这里插入图片描述

有门儿！统计的地区更多的集中在加州西南部，再进一步，把房屋均价用每个点的颜色来显示，越红表示房价越高

# 本代码块的每个参数可以根据单词意思作调整，看看输出效果，以便加深理解
housing.plot(kind="scatter", x="longitude", y="latitude", alpha=0.4, figsize=(10,7),c="median_house_value", cmap=plt.get_cmap("jet")
)

输出：
在这里插入图片描述

看起来西南部不但有更多的统计地区，房价也要更高，我们再进一步，把加州的地图也搬过来！

看看到底是怎么回事

# 本块代码现在无需理解，复制粘贴执行即可
PROJECT_ROOT_DIR = "."
images_path = os.path.join(PROJECT_ROOT_DIR, "images", "housing")
os.makedirs(images_path, exist_ok=True)
DOWNLOAD_ROOT = "https://gitee.com/yang-yizhou/dayangai/raw/master/"
filename = "california.png"
print("Downloading", filename)
url = DOWNLOAD_ROOT + "images/housing/" + filename
opener = urllib.request.URLopener()
opener.addheader('User-Agent', 'whatever')
opener.retrieve(url,os.path.join(images_path, filename))

# 本块代码现在无需理解，复制粘贴执行即可
import matplotlib.image as mpimg
california_img=mpimg.imread(os.path.join(images_path, filename))
ax = housing.plot(kind="scatter", x="longitude", y="latitude", figsize=(10,7),s=housing['population']/100, label="Population",c="median_house_value", cmap=plt.get_cmap("jet"),colorbar=False, alpha=0.4)
plt.imshow(california_img, extent=[-124.55, -113.80, 32.45, 42.05], alpha=0.5,cmap=plt.get_cmap("jet"))
plt.ylabel("Latitude", fontsize=14)
plt.xlabel("Longitude", fontsize=14)prices = housing["median_house_value"]
tick_values = np.linspace(prices.min(), prices.max(), 11)
cbar = plt.colorbar(ticks=tick_values/prices.max())
cbar.ax.set_yticklabels(["$%dk"%(round(v/1000)) for v in tick_values], fontsize=14)
cbar.set_label('Median House Value', fontsize=16)plt.legend(fontsize=16)
plt.show()

输出：
在这里插入图片描述