L1练习-鸢尾花数据集处理(分类/聚类)

背景

前文(《AI 自学 Lesson1 - Sklearn(开源Python机器学习包)》)以鸢尾花数据集的处理为例,本文将完善其代码,在使用 sklearn 的部分工具包基础上,增加部分数据预处理、数据分析和数据可视化。

由于鸢尾花数据集适用于进行分类和聚类的练习,这里使用多种分类和聚类方式,并验证其准确性。同时在概念部分对分类和聚类的种类、库、用法等进行补充介绍。

并在文首附上跑通资源,便于直接查看处理结果。

一、补充概念

1. 分类

sklearn 中,常见的分类算法涵盖了从简单的线性模型到复杂的非线性模型。以下是一些常见的分类算法及其对应的库名称:

算法名称库名称描述适用场景
1逻辑回归(Logistic Regression)sklearn.linear_model.LogisticRegression基于逻辑函数的线性分类模型,用于二分类或多分类问题。线性可分的二分类或多分类任务。
2支持向量机(SVM)sklearn.svm.SVC, sklearn.svm.LinearSVC高效的分类算法,适用于处理高维空间和非线性分类问题。高维数据、复杂的非线性分类任务。
3K近邻(KNN)sklearn.neighbors.KNeighborsClassifier基于距离测量进行分类,适用于小型数据集。小数据集、特征空间维度较低的分类任务。
4决策树(Decision Tree)sklearn.tree.DecisionTreeClassifier基于树状结构的分类模型,能够处理非线性分类任务。非线性数据的分类,易于解释和可视化。
5随机森林(Random Forest)sklearn.ensemble.RandomForestClassifier集成多个决策树,提升分类的准确性和鲁棒性。处理大规模、高维数据,减少过拟合。
6朴素贝叶斯(Naive Bayes)sklearn.naive_bayes.GaussianNB, sklearn.naive_bayes.MultinomialNB基于贝叶斯定理的概率分类模型,假设特征之间相互独立。文本分类、特征独立的分类任务。
7梯度提升树(Gradient Boosting)sklearn.ensemble.GradientBoostingClassifier通过多个弱分类器的组合逐步提升分类性能,适用于复杂数据。非线性、高维数据的复杂分类任务。
8极限梯度提升(XGBoost)xgboost.XGBClassifier高效的梯度提升算法实现,适合处理大规模数据,性能优异。高性能分类任务,常用于竞赛和大数据处理。
9多层感知器(MLP)sklearn.neural_network.MLPClassifier基于神经网络的多层感知器模型,能够处理复杂的非线性分类问题。深度学习相关的分类任务,非线性数据的分类。

2. 聚类

sklearn 中,常见的聚类算法涵盖了从基本的距离度量方法到更复杂的层次聚类和密度聚类。以下是常用的聚类算法及其对应的库名称:

算法名称库名称描述适用场景
1K均值聚类(K-Means Clustering)sklearn.cluster.KMeans基于质心的聚类算法,通过质心划分数据,适用于线性可分数据。线性可分的数据,聚类数已知的情况下。
2层次聚类(Hierarchical Clustering)sklearn.cluster.AgglomerativeClustering通过构建层次树对数据进行聚类,能够发现数据的层次结构。需要构建层次结构的聚类任务。
3DBSCAN(密度聚类)sklearn.cluster.DBSCAN基于密度的聚类算法,能够发现任意形状的簇,适合带噪声数据。发现任意形状的簇,处理噪声数据。
4均值漂移(Mean Shift Clustering)sklearn.cluster.MeanShift基于核密度估计的非参数聚类算法,能够自动找到簇的数量。高密度区域的聚类,适合未知簇数的情况。
5谱聚类(Spectral Clustering)sklearn.cluster.SpectralClustering基于图论的聚类算法,适合非线性或高维数据。非线性数据或高维空间的聚类任务。
6高斯混合模型(Gaussian Mixture Model, GMM)sklearn.mixture.GaussianMixture基于概率模型的聚类算法,假设数据来自多个高斯分布的混合。处理复杂分布的聚类任务,适合有重叠的簇。
7Birch(平衡迭代减少与聚类)sklearn.cluster.Birch高效的层次聚类算法,适合处理大规模数据集。大规模数据的层次聚类任务。
8亲和传播(Affinity Propagation)sklearn.cluster.AffinityPropagation通过消息传递进行聚类,适用于自动确定簇数。自动发现簇数,适合不需要预设簇数的聚类任务。
9MiniBatch K-Meanssklearn.cluster.MiniBatchKMeansKMeans 的小批量变体,适合处理大规模数据。大规模数据集的聚类任务,提升计算效率。

在后续代码部分,将使用【分类】中的 逻辑回归、k近邻、支持向量机、朴素贝叶斯、决策树 分别对鸢尾花数据集进行处理,并判断各模型算法的准确性;【聚类】中的 K均值聚类、层次聚类、DBSCAN 分别对鸢尾花数据集进行聚类处理,,并判断各模型算法的准确性。


3. 交叉验证

交叉验证是用于评估模型泛化能力的技术,它通过多次划分数据集来减少偶然性,常见的是 K折交叉验证(K-Fold Cross-Validation),即将数据分成K份,每次用其中的一份作为验证集,剩下的作为训练集,重复K次,最后取平均准确率作为模型的性能评估。

通过多次划分数据集,减少模型在某一特定训练集上表现过好的风险,保证模型在未知数据上的性能稳定。

作用

  • 稳定性:通过多次分割数据,确保模型在不同数据集上的表现一致。
  • 评估泛化能力:避免模型过拟合到某一个特定的训练集。
  • 综合评估模型性能:通过平均和标准差的计算,得到模型在多次验证下的表现。

4. F1得分(F1 Score)

  • F1得分 是用于分类任务中的一种综合指标,它是 精确率(Precision)召回率(Recall) 的调和平均数,主要用于不平衡数据集(即某些类别出现的频率较高,另一些类别则较低)。
    • 精确率(Precision):模型预测为正类的样本中,真正为正类的比例。
    • 召回率(Recall):真实为正类的样本中,模型正确预测为正类的比例。
    F1得分的公式为:

F1= 2 \times \frac{Precision \times Recall}{Precision + Recall}


5. 超参数调优

KNN 的一个关键超参数是 K值(近邻个数),不同的 K 值会影响模型的性能。为了找到最合适的 K 值,我们可以使用 网格搜索(Grid Search) 结合交叉验证来进行超参数调优。此外,还可以调优距离度量方法(如 p 值,决定使用欧几里得距离或曼哈顿距离等)。

通过网格搜索或随机搜索选择最优的超参数组合,能够显著提升模型性能,避免欠拟合或过拟合。

作用

  • 优化模型性能:通过选择合适的超参数,可以显著提升模型的表现。
  • 避免过拟合:调整参数如正则化强度、树的深度等,可以防止模型过度拟合训练数据。
  • 增强泛化能力:经过调优后的模型在未知数据上能有更好的预测能力。

二、代码

1. 准备阶段

#导入内置的鸢尾花数据
from sklearn.datasets import load_iris
import pandas as pd
import numpy as npiris = load_iris()
print(iris)#导入所需包
import seaborn as sns #数据可视化
import matplotlib.pyplot as plt #绘图
import pandas as pd #数据分析from sklearn.model_selection import train_test_split #数据划分
from sklearn.preprocessing import StandardScaler #数据标准化from sklearn.linear_model import LogisticRegression #逻辑回归
from sklearn.neighbors import KNeighborsClassifier #K近邻分类
from sklearn.svm import SVC #支持向量机
from sklearn.naive_bayes import GaussianNB #朴素贝叶斯
from sklearn.tree import DecisionTreeClassifier #决策树
from sklearn.metrics import accuracy_score from sklearn.cluster import KMeans, AgglomerativeClustering, DBSCAN #聚类库
from sklearn.metrics import adjusted_rand_score, silhouette_score
from sklearn.preprocessing import StandardScalerfrom sklearn.model_selection import cross_val_score #K折交叉验证
from sklearn.model_selection import GridSearchCV #超参数调优-网格搜索#数据集属性描述
print("特征值:\n",iris.data)
print("目标值:\n",iris["target"])
print("特征值名字:\n",iris.feature_names)
print("目标值名字:\n",iris.target_names)
print("数据集描述:\n",iris.DESCR)iris_d = pd.DataFrame(data=iris.data,columns=['sepal length', 'sepal width', 'petal length', 'petal width'])iris_d#查看数据类型信息
iris_d.info()

2. 数据可视化

iris_d["target"] = iris.target#定义函数iris_plot,定义三个变量
#使用seaborn进行数据可视化,对应函数变量第一位为数据,第二位为横轴名,第三位为纵轴名
def iris_plot(data,col1,col2):sns.lmplot(x=col1,y=col2,data=data,hue="target",fit_reg=False)plt.show()#显示可视化图表#使用数据为iris_d,横轴为名为sepal width,纵轴名为petal length
iris_plot(iris_d,'sepal width','petal length')

3. 数据预处理

分为数据划分和数据转换。

#定义数据、标签
X = iris.data
y = iris.target#进行数据划分
X_train, X_test, y_train, y_test = train_test_split(X,y,random_state=42#,stratify=y,test_size=0.3#,shuffle=True)
#将完整数据集的70%作为训练集,30%作为测试集,
#可通过使得设置 stratify=y 测试集和训练集中各类别数据的比例与原始数据集比例一致(stratify分层策略)
#可通过设置 shuffle=True 提前打乱数据print("训练集的目标值形状:\n",y_train.shape)
print("测试集的目标值形状:\n",y_test.shape)#构建转换器实例
scaler = StandardScaler( )#拟合及转换
scaler.fit_transform(X_train)
X_scaled = scaler.fit_transform(X)

4. 分类

# 1. 逻辑回归
logistic_model = LogisticRegression(max_iter=200)
logistic_model.fit(X_train, y_train)
y_pred_logistic = logistic_model.predict(X_test)
accuracy_logistic = accuracy_score(y_test, y_pred_logistic)
print(f"逻辑回归分类准确率: {accuracy_logistic:.2f}")# 2. K近邻(KNN)
knn_model = KNeighborsClassifier(n_neighbors=5)
knn_model.fit(X_train, y_train)
y_pred_knn = knn_model.predict(X_test)
accuracy_knn = accuracy_score(y_test, y_pred_knn)
print(f"K近邻分类准确率: {accuracy_knn:.2f}")# 3. 支持向量机
svm_model = SVC()
svm_model.fit(X_train, y_train)
y_pred_svm = svm_model.predict(X_test)
accuracy_svm = accuracy_score(y_test, y_pred_svm)
print(f"支持向量机分类准确率: {accuracy_svm:.2f}")# 4. 朴素贝叶斯
nb_model = GaussianNB()
nb_model.fit(X_train, y_train)
y_pred_nb = nb_model.predict(X_test)
accuracy_nb = accuracy_score(y_test, y_pred_nb)
print(f"朴素贝叶斯分类准确率: {accuracy_nb:.2f}")# 5. 决策树
tree_model = DecisionTreeClassifier()
tree_model.fit(X_train, y_train)
y_pred_tree = tree_model.predict(X_test)
accuracy_tree = accuracy_score(y_test, y_pred_tree)
print(f"决策树分类准确率: {accuracy_tree:.2f}")

输出结果

逻辑回归分类准确率: 1.00

K近邻分类准确率: 1.00

支持向量机分类准确率: 1.00

朴素贝叶斯分类准确率: 0.98

决策树分类准确率: 1.00

分析

  1. 在鸢尾花数据集上,逻辑回归K近邻支持向量机决策树 都能达到 100% 的分类准确率,这说明这些模型在处理这个简单的三分类问题时表现非常好。
  2. 朴素贝叶斯 的准确率稍微低一点,约为 98%,这可能是由于鸢尾花数据集中的特征分布并非完全符合朴素贝叶斯的独立性假设,但仍然是一个较好的结果。

5. 聚类

# 1. K均值聚类
kmeans = KMeans(n_clusters=3, random_state=42)
y_pred_kmeans = kmeans.fit_predict(X_scaled)
ari_kmeans = adjusted_rand_score(y, y_pred_kmeans)
silhouette_kmeans = silhouette_score(X_scaled, y_pred_kmeans)
print(f"K均值 - Adjusted Rand Index: {ari_kmeans:.2f}, Silhouette Score: {silhouette_kmeans:.2f}")# 2. 层次聚类
hierarchical = AgglomerativeClustering(n_clusters=3)
y_pred_hierarchical = hierarchical.fit_predict(X_scaled)
ari_hierarchical = adjusted_rand_score(y, y_pred_hierarchical)
silhouette_hierarchical = silhouette_score(X_scaled, y_pred_hierarchical)
print(f"层次聚类 - Adjusted Rand Index: {ari_hierarchical:.2f}, Silhouette Score: {silhouette_hierarchical:.2f}")# 3. DBSCAN
dbscan = DBSCAN(eps=0.5, min_samples=5)
y_pred_dbscan = dbscan.fit_predict(X_scaled)
# 由于DBSCAN的标签中可能有-1(表示噪声),需过滤掉噪声点计算ARI和轮廓系数
ari_dbscan = adjusted_rand_score(y, y_pred_dbscan)
if len(set(y_pred_dbscan)) > 1:  # 如果存在多个簇silhouette_dbscan = silhouette_score(X_scaled, y_pred_dbscan)
else:silhouette_dbscan = -1  # 如果只有一个簇或噪声
print(f"DBSCAN - Adjusted Rand Index: {ari_dbscan:.2f}, Silhouette Score: {silhouette_dbscan:.2f}")

代码说明

  1. K均值:我们设置簇的数量为3(因为鸢尾花数据集包含3类标签),并使用 Adjusted Rand Index (ARI)Silhouette Score 来评估聚类效果。
  2. 层次聚类:我们同样设定簇数量为3,使用凝聚层次聚类(自底向上)。
  3. DBSCAN:使用基于密度的聚类方法,不需要指定簇的数量,但我们设置 eps=0.5min_samples=5 来控制聚类的密度参数。该方法对噪声点(标记为-1)进行自动处理。

输出结果

K均值 - Adjusted Rand Index: 0.62, Silhouette Score: 0.46
层次聚类 - Adjusted Rand Index: 0.62, Silhouette Score: 0.45
DBSCAN - Adjusted Rand Index: 0.44, Silhouette Score: 0.36

分析:

  1. K均值聚类层次聚类 在鸢尾花数据集上的表现相似,ARI 均为 0.62,Silhouette Score 也接近,这表明它们能够较好地将数据聚成三类,且与真实标签有较高的一致性。
  2. DBSCANARISilhouette Score 较低(如 0.44 和 0.36),这表明它在该数据集上的效果不如前两种算法。由于鸢尾花数据集的分布较为规则,DBSCAN 的密度聚类特性并不适合这个数据集。

6. 交叉验证

# 使用准确率作为评估标准
scores = cross_val_score(knn_model, X, y, cv=5, scoring='accuracy')# 输出交叉验证的平均准确率和标准差
print(f"KNN - 交叉验证准确率: {scores.mean():.2f} ± {scores.std():.2f}")# 使用加权F1得分作为评估标准
scores = cross_val_score(knn_model, X, y, cv=5, scoring='f1_weighted')# 输出加权F1得分的平均值和标准差
print(f"KNN - 加权F1得分: {scores.mean():.2f} ± {scores.std():.2f}")

代码说明

  • scores.mean():计算5次交叉验证的平均准确率。
    • 交叉验证返回的是5次验证的准确率数组,scores.mean() 对这些值取平均,作为模型在不同划分下的总体表现。均值代表模型的总体准确率水平
  • scores.std():计算5次交叉验证准确率的标准差。
    • 标准差用于衡量模型准确率的波动程度。标准差越小,说明模型在不同数据划分下的表现越稳定;反之,如果标准差较大,表示模型的性能在不同数据集划分上差异较大,可能不够稳定。

7. 超参数调优

# 定义需要调优的超参数范围
param_grid = {'n_neighbors': [3, 5, 7, 9, 11],  # K值(邻居数)'weights': ['uniform', 'distance'],  # 权重'p': [1, 2]  # p=1 曼哈顿距离, p=2 欧几里得距离
}# 使用网格搜索与K折交叉验证结合
grid_search = GridSearchCV(KNeighborsClassifier(), param_grid, cv=5, scoring='accuracy')
grid_search.fit(X, y)# 输出最佳参数和对应的交叉验证得分
print(f"最佳超参数组合: {grid_search.best_params_}")
print(f"最佳交叉验证准确率: {grid_search.best_score_:.2f}")

简单来说就是通过字典给超参数不同维度的设置选择,使用搜索即是将所有组合的正确率都进行验证,并通过 grid_search.best_params_ 返回出最优组合。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.rhkb.cn/news/454034.html

如若内容造成侵权/违法违规/事实不符,请联系长河编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

FL Studio 2024 发布,添加 FL Cloud 插件、AI 等功能

作为今年最受期待的音乐制作 DAW 更新之一,FL Studio 2024发布引入了新功能,同时采用了新的命名方式,从现在起将把发布年份纳入其名称中。DAW 的新增功能包括在 FL Cloud 中添加插件、AI 驱动的音乐创作工具和 FL Studio 的新效果。 FL Clou…

Java 解决阿里云OSS服务器私有权限图片通过URL无法预览的问题

简单描述一下此场景的业务: 由于系统中需要将上传的图片在系统中展示(private私有权限不能直接通过url直接展示),不想通过先下载下来然后以流的形式返回给前台展示这种方法很不友好,毕竟现在前台展示方式都是通过图片URL进行展示,所以就上官网查看API文档,果然找到了解决…

视频美颜平台是如何搭建的?基于直播美颜SDK源码的开发技术详解

今天,笔者将详细讲解如何基于直播美颜SDK源码搭建视频美颜平台的技术路径。 一、理解视频美颜技术 视频美颜技术主要通过图像处理算法对视频流进行实时处理,包括肤色优化、瑕疵修复、面部特征增强等。实现这一目标需要高效的图像处理算法和稳定的实时渲…

电脑异常情况总结

文章目录 笔记本无症状息屏黑屏 笔记本无症状息屏黑屏 🍎 问题描述: 息屏导致黑屏;依次操作计算机--》右键--》管理--》事件查看器--》Windows日志--》系统;从息屏到异常黑屏之间出现了很多错误,如下:事件…

大规模创新类竞赛评审方案的建模与研究

随着科技的发展和教育制度的改革,近年来涌现出一批以“创新”为主题的竞赛项目。这类竞赛的运行模式为,参赛队伍提交文档、视频或幻灯片等文本形式的作品,专家对参赛队伍提交的作品评阅判分,一份作品将由多位专家独立进行评阅打分…

WPF入门_04绑定

WPF绑定使得原本需要多行代码实现的功能,现在只需要简单的XAML代码就可以完成之前多行后台代码实现的功能。WPF绑定可以理解为一种关系,该关系告诉WPF从一个源对象提取一些信息,并将这些信息来设置目标对象的属性。 目标属性总是依赖属性。然而,源对象可以是任何内容,可以…

mysql8以上版本第一次下载后的登录问题

mysql8以上版本第一次下载后的登录问题 在官网下载mysql后,按照MySQL下载和安装教程操作就可以 如果出现问题,参考https://blog.csdn.net/weixin_63107823/article/details/136588474 注意ini配置文件,如果你是复制的别人的代码&#xff0…

一些简单的编程题(Java与C语言)

引言: 这篇文章呢,小编将会举一些简单的编程题用来帮助大家理解一下Java代码,并且与C语言做个对比,不过这篇文章所出现的题目小编不会向随缘解题系列里面那样详细的讲解每一到题,本篇文章的主要目的是帮助小编和读者们…

算法魅力-双指针的实战

目录 1.双指针的介绍 1. 左右指针(对撞指针) 2. 快慢指针 2.题目练习讲解 2.1 移动零 算法思路 代码展示 画图效果效果 2.2 复写零 算法思路 代码展示 2.3 快乐数 算法思路 代码展示 2.4 盛最多水的容器 算法思路 代码展示 结束语 1.双指针的…

LeetCode第101题. 对称二叉树

文章目录 😊1.题目😉2.解法 😊1.题目 尝试一下该题 😉2.解法 /*** Definition for a binary tree node.* struct TreeNode {* int val;* struct TreeNode *left;* struct TreeNode *right;* };*/ bool isSameTree…

考研读研生存指南,注意事项

本视频课程,涉及考研读研的方方面面,从考研初试→复试面试→研究生生活→导师相处→论文专利写作混毕业,应有尽有。有了他,你的研究生生涯稳了。 读研考研注意事项,研究生生存指南。_哔哩哔哩_bilibili 一、考研初试注…

数据泄露危机:提升文件安全意识的紧迫性

在当今数字化时代,数据已成为企业最宝贵的资产之一。然而,随着技术的进步,数据泄露事件的频率和规模也在不断攀升。这不仅给企业带来巨大的经济损失,还可能导致声誉受损、客户流失等一系列严重后果。因此,提升文件安全意识,加强数据保护措施,已成为企业管理中不可忽视的重要议题…

【人工智能】Transformers之Pipeline(二十):令牌分类(token-classification)

目录 一、引言 二、令牌分类(token-classification) 2.1 概述 2.2 Facebook AI/XLM-RoBERTa 2.3 pipeline参数 2.3.1 pipeline对象实例化参数 2.3.2 pipeline对象使用参数 2.3.3 pipeline返回参数 ​​​​​​​​​​​​​​ 2.4 pipeline…

Spring Boot 3.3 【八】整合实现高可用 Redis 集群

一、引言 在当今快速发展的软件开发领域,系统的性能和可靠性至关重要。Springboot 3 整合 Redis 7 集群具有多方面的重大意义。 首先,随着业务的不断发展,数据量呈爆炸式增长,单个 Redis 服务器往往难以满足存储和处理需求。Red…

docker-harbor

目录 一、registry 二、harbor 1.部署 harbor 1.1部署Docker-Compose 1.2部署 Harbor 服务 1.3在其他客户端上传镜像 三、维护管理Harbor 1. 创建 Harbor 用户 2.添加项目成员 3. 在客户端上使用普通账户操作镜像 4. 查看日志 5. 修改 Harbor.cfg 配置文件 6. 移除…

给定数组找出出现次数超过数组长度一半的数

🎁👉点击进入文心快码 Baidu Comate 官网,体验智能编码之旅,还有超多福利!🎁 【大厂面试真题】系列,带你攻克大厂面试真题,秒变offer收割机! ❓今日问题:给定…

低代码开发工具与传统开发工具的性能对比

随着信息技术的不断发展,软件开发工具也在不断演进。低代码开发工具近年来逐渐兴起,与传统开发工具相比,它们在性能方面有着不同的特点。 低代码开发工具的特点 易用性高:低代码开发工具通常提供可视化的开发界面,用户…

【Python数据库操作】使用SQLite和MySQL进行数据存储和查询!

【Python数据库操作】使用SQLite和MySQL进行数据存储和查询! 在现代应用程序中,数据存储与管理是至关重要的。Python为开发者提供了多种与数据库进行交互的方式,其中SQLite和MySQL是最常用的两种数据库。本文将深入探讨如何使用Python进行SQ…

ES6 Promise的用法

学习链接:ES6 Promise的用法,ES7 async/await异步处理同步化,异步处理进化史_哔哩哔哩_bilibili 一、同步与异步区别 1.JavaScript代码是单线程的程序,即通过一行一行代码顺序执行,即同步概念。 2.若处理一些简短、…

uploads-labs靶场刷题记录

Pass-01 尝试上传一句话木马 1.php: <?php eval($_POST[cmd]);?>发现设置了白名单且抓包没有记录&#xff0c;说明在前端进行的拦截&#xff08;可以禁用前端的JS从而绕过拦截&#xff0c;达到直接上传木马的目的&#xff09;。 将一句话木马文件加上.jpg后缀1.php.jp…