目录
一、数据及分析对象
二、目的及分析任务
三、方法及工具
四、数据读入
五、数据理解
六、数据准备
七、模型构建
八、模型预测
九、模型评价
一、数据及分析对象
CSV格式的数据文件——“Advertising.csv”
数据集链接：https://download.csdn.net/download/m0_70452407/88520033
数据集包含了200个不同市场的产品销售额，每个销售额对应3中广告媒体投入成本，分别是TV、radio和newspaper，主要属性如下：
（1）Number：数据集的编号。
（2）TV：电视媒体的广告投入。
（3）radio：广播媒体的广告投入。
（4）newspaper：报纸媒体的广告投入。
（5）sales：商品的销量。
二、目的及分析任务
理解机器学习方法在数据分析中的应用——采用多元回归方法进行回归分析。
（1）数据预处理，绘制TV、radio、newspaper这3个自变量与因变量sales的相关关系图。
（2）采用两种不同方法进行多元回归分析——统计学方法和机器学习方法。
（3）进行模型预测，得出模型预测结果。
（4）对预测结果进行评价。
三、方法及工具
Python语言及pandas、Seaborn、matplotlib、statsmodels、scikit-learn等包。
四、数据读入
import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt
import os
data=pd.read_csv("D:\\Download\\JDK\\数据分析理论与实践by朝乐门_机械工业出版社\\第3章 回归分析\\Advertising.csv")
data.head()
五、数据理解
对数据框进行探索性分析，这里采用的实现方式为调用Seaborn包中的pairplot()方法，绘制TV、radio、newspaper这3个变量与sales变量之间的关系图，其中kind参数设置为“reg"。为非对角线上的散点图拟合出一条回归直线，可以更直观地显示变量之间的关系，height参数为7，aspect参数为0.8，表明每个构面的高度为7，宽高比为0.8。调用matplotlib.pyplot.show()方法显示图形。
sns.pairplot(data,x_vars=['TV','radio','newspaper'],y_vars='sales',height=7,aspect=0.8,kind='reg')
plt.show()
六、数据准备
进行多元回归分析前，应准备好模型所需的特征矩阵（X）和目标向量（y）。这里采用drop()方法删除数据框data中的Number以及sales两列返回另一个DataFrame对象Data，并显示Data数据集，即特征矩阵的前5行数据。
#第一步：构建特征矩阵和目标数组
Data=data.drop(['Number','sales'],axis=1)
Data.head()
确定目标向量sales为data数据框中的sales列，并显示其数据类型：
sales=data['sales']
type(sales)pandas.core.series.Series
输出结果显示了sales的数据类型为pandas的Series。
将目标向量sales的数据转换为NumPy中的ndarray，这里采用的实现方法为调用NumPy包中的ravel()方法返回数组。
import numpy as np
sales=np.ravel(sales)
type(sales)numpy.ndarray
输出结果显示sales的数据类型为NumPy的ndarray数组对象。
七、模型构建
采用统计学方法，检验模型的线性显著性。在这里调用statsmodels统计建模工具包，通过statsmodels.api（基于数组）接口进行访问。采用add_constant()方法加上一列常数项，反映线性回归模型的截距。采用OLS()方法用最小二乘法来建立myModel模型。采用模型的fit()方法返回一个回归结果对象results，该对象results包含了估计的模型参数和其他的诊断。在results上调用summary()方法可以打印出一个模型的诊断细节。
#第一种分析方法——基于统计学的建模
import statsmodels.api as sm
X_add_const=sm.add_constant(Data.to_numpy())
myModel=sm.OLS(sales,X_add_const)
results=myModel.fit()
print(results.summary())OLS Regression Results ============================================================================== Dep. Variable: y R-squared: 0.897 Model: OLS Adj. R-squared: 0.896 Method: Least Squares F-statistic: 570.3 Date: Thu, 09 Nov 2023 Prob (F-statistic): 1.58e-96 Time: 20:01:27 Log-Likelihood: -386.18 No. Observations: 200 AIC: 780.4 Df Residuals: 196 BIC: 793.6 Df Model: 3 Covariance Type: nonrobust ==============================================================================coef std err t P>|t| [0.025 0.975] ------------------------------------------------------------------------------ const 2.9389 0.312 9.422 0.000 2.324 3.554 x1 0.0458 0.001 32.809 0.000 0.043 0.049 x2 0.1885 0.009 21.893 0.000 0.172 0.206 x3 -0.0010 0.006 -0.177 0.860 -0.013 0.011 ============================================================================== Omnibus: 60.414 Durbin-Watson: 2.084 Prob(Omnibus): 0.000 Jarque-Bera (JB): 151.241 Skew: -1.327 Prob(JB): 1.44e-33 Kurtosis: 6.332 Cond. No. 454. ==============================================================================Notes: [1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
重点考虑参数R-squared、Prob(F-statistic)以及P>|t|的两个值，通过这4个参数就能判断模型是否线性显著，同时知道显性的程度。
其中，R-squared（决定系数）=SSR/SST，取值范围为[0,1]，其值越接近1，说明回归效果越好。在这里，R-squared的值为0.897，接近于1，说明回归效果好。F-statistic（F检验）的值越大越能推翻原假设，原假设是“我们的模型不是线性模型”。Prob（F-statistic）是F-statistic的概率，这个值越小越能拒绝原假设，这里为1.58e-96,该值非常小，足以证明是线性显著的。
接着，采用机器学习的方法再进行建模，以便进行两者的对比分析。为了采用机器学习方法，需要拆分训练集和测试机。在这里通过调用sklearn.model_selection中的train_test_split()方法进行训练姐和测试集的拆分，random_state为1，采用25%的数据测试，75%的数据训练。
#第二种分析方法——基于机器学习
#拆分训练集和测试集
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test=train_test_split(Data,sales,random_state=1,test_size=0.25)查看训练数据和测试数据的数量：
#查看训练数据和测试数据的数量
print(X_train.shape)
print(X_test.shape)(150, 3) (50, 3)
在训练集上训练模型。这里调用sklearn.linear_model中默认参数的LinearRegression对训练集进行线性回归。
from sklearn.linear_model import LinearRegression
linreg=LinearRegression()
model=linreg.fit(X_train,y_train)
print(model)LinearRegression()
在此基础上，查看多元线性回归模型的回归系数：
model.coef_array([0.04656457, 0.17915812, 0.00345046])
查看回归模型的截距：
model.intercept_2.8769666223179335
最后，调用score()方法返回预测的R-squared（决定系数），即模型的准确率：
#准确率
model.score(X_test,y_test)0.9156213613792232
八、模型预测
采用predict()方法使用线性模型进行预测，返回模型的预测结果y_pred:
y_pred=linreg.predict(X_test)
y_predarray([21.70910292, 16.41055243, 7.60955058, 17.80769552, 18.6146359 ,23.83573998, 16.32488681, 13.43225536, 9.17173403, 17.333853 ,14.44479482, 9.83511973, 17.18797614, 16.73086831, 15.05529391,15.61434433, 12.42541574, 17.17716376, 11.08827566, 18.00537501,9.28438889, 12.98458458, 8.79950614, 10.42382499, 11.3846456 ,14.98082512, 9.78853268, 19.39643187, 18.18099936, 17.12807566,21.54670213, 14.69809481, 16.24641438, 12.32114579, 19.92422501,15.32498602, 13.88726522, 10.03162255, 20.93105915, 7.44936831,3.64695761, 7.22020178, 5.9962782 , 18.43381853, 8.39408045,14.08371047, 15.02195699, 20.35836418, 20.57036347, 19.60636679])
九、模型评价
对预测结果评价，这里采用matplotlib.pyplot的plot()函数绘制预测结果与真实值图，两条线分别表示模型预测值和观察值。
import matplotlib.pyplot as plt
plt.figure()
plt.plot(range(len(y_pred)),y_pred,'b',label="predict")
plt.plot(range(len(y_pred)),y_test,'r',label="test")
plt.legend(loc="upper right")
plt.xlabel("the number of sales")
plt.ylabel("value of sales")
plt.show()
从运行结果可以看出，预测结果与真实值的折线趋于重合，此结果说明模型的预测结果较好。
