机器学习day3-KNN算法、模型调优与选择

五 sklearn机器学习概述

1.实例化预估器(估计器)对象(estimator)， 预估器对象很多,都是estimator的子类（1）用于分类的预估器sklearn.neighbors.KNeighborsClassifier k-近邻sklearn.naive_bayes.MultinomialNB 贝叶斯sklearn.linear_model.LogisticRegressioon 逻辑回归sklearn.tree.DecisionTreeClassifier 决策树sklearn.ensemble.RandomForestClassifier 随机森林(2)用于回归的预估器sklearn.linear_model.LinearRegression线性回归sklearn.linear_model.Ridge岭回归(3)用于无监督学习的预估器sklearn.cluster.KMeans 聚类
2.进行训练，训练结束后生成模型estimator.fit(x_train, y_train)
3.模型评估(1)方式1，直接对比y_predict = estimator.predict(x_test)y_test == y_predict(2)方式2, 计算准确率accuracy = estimator.score(x_test, y_test)
4.使用模型(预测)
y_predict = estimator.predict(x_true)

六 KNN算法-分类

1.样本距离判断

①.欧式距离

②.曼哈顿距离

2.KNN算法原理

K-近邻算法（K-Nearest Neighbors，简称KNN）,根据K个邻居样本的类别来判断当前样本的类别。

（物以类聚，人以群分）

3.KNN缺点

大规模数据集，计算量大。

维度灾难：对于高维数据，距离度量意义不大

合适的k值和距离度量，需要实验调整

4.API

class sklearn.neighbors.KNeighborsClassifier(n_neighbors=5, algorithm='auto'）
参数:                                             
(1)n_neighbors: int, default=5, 默认情况下用于kneighbors查询的近邻数，就是K
(2)algorithm:{‘auto’, ‘ball_tree’, ‘kd_tree’, ‘brute’}, default=’auto’。找到近邻的方式，注意不是计算距离的方式，与机器学习算法没有什么关系，开发中请使用默认值'auto'*:关键词参数，*后面的关键词都要写
方法:(1) fit(x， y) 使用X作为训练数据和y作为目标数据  (2) predict(X) 预测提供的数据，得到预测数据

eg1

#KNN算法
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
import numpy as np
import joblib
#获取数据
iris=load_iris()
x,y=iris.data,iris.target
print(x)
print(y)
#对数据集进行分割
x_train,x_test,y_train,y_test=train_test_split(x,y,train_size=0.5,random_state=666)

#对x进行标准化处理
stander=StandardScaler()
x_stand=stander.fit_transform(x_train)
x_stande1=stander.transform(x_test)
#创建knn工具
model=KNeighborsClassifier(n_neighbors=5,algorithm='auto')
#训练
model.fit(x_train,y_train)
#预测
y_predict=model.predict(x_test)
print("x_test:\n",x_test)
print("y_target_names\n",iris.target_names)
print("y_predict:\n",y_predict)
print("y_test:\n",y_test)
#评估1
res=y_predict==y_test
print(res)
score=np.sum(res)/len(res)
print(score)#准确率
#评估2
score=model.score(x_test,y_test)
print(score)#准确率
#模型保存
joblib.dump(model,"./model/knn.pkl")
# #推理（detect）
# x_new=[[5.1,3.5,1.4,0.2],[2.1,1.5,4.4,0.2],[5.1,5.5,1.4,5.2],[1.1,2.3,1.4,3.2]]
# x_new_stand=stander.transform(x_new)
# y_detect=model.predict(x_new_stand)
# print("推理的结果",iris.target_names[y_detect])
import joblib
#加载模型
model=joblib.load("./model/knn.pkl")
#推理
x=stander.transform([[1,2,3,3]])
y=model.predict(x)
print(y)

七模型选择与调优

1.交叉验证

①.保留交叉验证HoldOut

HoldOut Cross-validation（Train-Test Split）整个数据集被随机地划分为训练集和验证集。根据经验法则，整个数据集的近70%被用作训练集，其余30%被用作验证集。（最常使用的直接划分数据集的方法）

优点：简单容易

缺点：不适用于不平衡的数据，一大块数据被剥夺了训练模型的机会

②.K-折交叉验证(K-fold)

（K-fold Cross Validation，记为K-CV或K-fold）

K-Fold交叉验证技术中，整个数据集被划分为K个大小相同的部分。每个分区被称为一个”Fold”。所以有K个部分，称之为K-Fold。

一个Fold被用作验证集，其余的K-1个Fold被用作训练集。

该技术重复K次，直到每个Fold都被用作验证集，其余的作为训练集。

模型的最终准确度是通过取k个模型验证数据的平均准确度来计算的。

③.分层k-折交叉验证Stratified k-fold

Stratified k-fold cross validation,

K-折交叉验证的变种，分层的意思是说在每一折中都保持着原始数据中各个类别的比例关系。

④.其他验证

去除p交叉验证) 留一交叉验证）蒙特卡罗交叉验证时间序列交叉验证

⑤.API

from sklearn.model_selection import KFold

from sklearn.model_selection import StratifiedKFold

strat_k_fold=sklearn.model_selection.StratifiedKFold(n_splits=5, shuffle=True, random_state=42)

•   n_splits划分为几个折叠 
•   shuffle是否在拆分之前被打乱(随机化),False则按照顺序拆分
•   random_state随机因子

indexs=strat_k_fold.split(X,y) 

•   返回一个可迭代对象,一共有5个折叠,每个折叠对应的是训练集和测试集的下标

•   然后可以用for循环取出每一个折叠对应的X和y下标来访问到对应的测试数据集和训练数据集 以及测试目标集和训练目标集

for train_index, test_index in indexs:

•   X[train_index]    y[train_index]   X[test_index ]  y[test_index ]

eg2

from sklearn.datasets import load_iris
from sklearn.model_selection import StratifiedKFold
from sklearn.neighbors import KNeighborsClassifier
x,y=load_iris(return_X_y=True)
folder=StratifiedKFold(n_splits=5,shuffle=True,random_state=666)
iter=folder.split(x,y)
knn=KNeighborsClassifier(n_neighbors=7)
score_arr=[]
for train_index,test_index in iter:print(train_index,test_index,'-----------')model=knn.fit(x[train_index],y[train_index])# model.predict(x[test_index])s=model.score(x[test_index],y[test_index])score_arr.append(s)
print(score_arr)
print("平均准备率为：\n",sum(score_arr)/len(score_arr))

2.超参数搜索

超参数搜索也叫网格搜索(Grid Search),能自动的帮助我们找到最好的超参数值。

API

class sklearn.model_selection.GridSearchCV(estimator, param_grid)

说明：
同时进行交叉验证(CV)、和网格搜索(GridSearch)，GridSearchCV实际上也是一个估计器(estimator)，同时它有几个重要属性：best_params_  最佳参数best_score_ 在训练集中的准确率best_estimator_ 最佳估计器cv_results_ 交叉验证过程描述best_index_最佳k在列表中的下标
参数：estimator： scikit-learn估计器实例param_grid:以参数名称（str）作为键，将参数设置列表尝试作为值的字典示例： {"n_neighbors": [1, 3, 5, 7, 9, 11]}cv: 确定交叉验证切分策略,值为:(1)None  默认5折(2)integer  设置多少折如果估计器是分类器，使用"分层k-折交叉验证(StratifiedKFold)"。在所有其他情况下，使用KFold。

eg3

#超参数的选择（网格搜索）
from sklearn.model_selection import GridSearchCV
from sklearn.neighbors import KNeighborsClassifier
from sklearn.datasets import load_iris
model=KNeighborsClassifier()
model=GridSearchCV(estimator=model,param_grid={"n_neighbors":[5,7,9,10]})
x_train,y_train=load_iris(return_X_y=True)
model.fit(x_train,y_train)
model
# best_params_  最佳参数
# best_score_ 在训练集中的准确率
# best_estimator_ 最佳估计器
# cv_results_ 交叉验证过程描述
# best_index_最佳k在列表中的下标
print(model.best_params_)
print(model.best_score_)
print(model.best_estimator_)
#model.best_estimator_.predict()
print(model.cv_results_)
print(model.best_index_)

# 用KNN算法对鸢尾花进行分类，添加网格搜索和交叉验证
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import GridSearchCV

def knn_iris_gscv():# 1）获取数据iris = load_iris()# 2）划分数据集x_train, x_test, y_train, y_test = train_test_split(iris.data, iris.target, random_state=22)# 3）特征工程：标准化transfer = StandardScaler()x_train = transfer.fit_transform(x_train)x_test = transfer.transform(x_test)# 4）KNN算法预估器, 这里就不传参数n_neighbors了，交给GridSearchCV来传递estimator = KNeighborsClassifier()# 加入网格搜索与交叉验证, GridSearchCV会让k分别等于1,2,5,7,9,11进行网格搜索偿试。cv=10表示进行10次交叉验证estimator = GridSearchCV(estimator, param_grid={"n_neighbors": [1, 3, 5, 7, 9, 11]}, cv=10)estimator.fit(x_train, y_train)
# 5）模型评估# 方法1：直接比对真实值和预测值y_predict = estimator.predict(x_test)print("y_predict:\n", y_predict)print("直接比对真实值和预测值:\n", y_test == y_predict)
# 方法2：计算准确率score = estimator.score(x_test, y_test)print("在测试集中的准确率为：\n", score)  #0.9736842105263158
# 最佳参数：best_params_print("最佳参数：\n", estimator.best_params_) #{'n_neighbors': 3}， 说明k=3时最好# 最佳结果：best_score_print("在训练集中的准确率：\n", estimator.best_score_)  #0.9553030303030303# 最佳估计器：best_estimator_print("最佳估计器:\n", estimator.best_estimator_) # KNeighborsClassifier(n_neighbors=3)# 交叉验证结果：cv_results_print("交叉验证过程描述:\n", estimator.cv_results_)#最佳参数组合的索引:最佳k在列表中的下标print("最佳参数组合的索引:\n",estimator.best_index_)#通常情况下，直接使用best_params_更为方便return None

knn_iris_gscv()