机器学习（七）

一，监督学习和无监督学习聚类的数据集比较：

监督学习：数据集包括输入的数据和与之对应的标签

无监督学习：数据集仅含有输入的数据，要求算法自己通过所给的数据集来确定决策边界

二，聚类(Clustering):

聚类，即通过给定的数据集，模型自己尝试看看是否可以将其分组为集群

聚类的实现：

K-means（K均值算法）：

一种无监督学习，将未标记的数据集划分为K个不同的群集，其核心目标是最小化簇内平方误差和（即实现数据集到集群中心的距离的最小化）

核心步骤：

将群集中心中心随机分配给簇，然后再重复将点分配给群集中心并移动群集中心，直到达到停止条件

实现步骤：

①给群集中心赋点：首先进行随机猜测，确定集群的中心（如下图中的红蓝叉）

②移动群集中心：通过所给数据集计算，每个数据更靠近红叉还是蓝叉，通过比较来把数据分配给更近的群集中心（把数据分给群集中心）

③重复上述①②操作，根据已有的数据到群集中心的距离，分别算出平均值，再根据平均值来继续移动群集中心，重复操作知道找到最优的群集中心

K-means的成本函数：

损失函数示意图：

K-means具体实现：

随机生成集群中心，并分别计算其损失函数，不断循环（通常在50-1000次）来找到最小损失函数，实现最优

集群数目的选取：

①Elbow method：（图像法选择K）

通过绘制以集群数目K为X轴，损失函数J为Y轴的函数图像，来找到图像的”Elbow”，即函数图像下降最明显的点，负梯度最小的部分，即为最合适的集群数目。

②计算法：（根据实际情况而选择K）

实践中对集群数目的选择大多都是模棱两可的，可以根据实际情况以及自己希望模型后期的表现来选择集群数目

# -*- coding: gbk -*-  # 改为GBK编码声明（临时解决方案）
# 导入必要的库
import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_blobs  # 用于生成演示数据集# 生成模拟数据
X, y = make_blobs(n_samples=300,  # 样本数量centers=4,      # 聚类中心数量cluster_std=0.6, # 簇的标准差（控制离散程度）random_state=0   # 随机种子（确保结果可复现）
)class KMeans:"""K-means聚类算法实现"""def __init__(self, k=4, max_iter=1000):"""初始化参数Args:k: 要形成的簇数（聚类中心数）max_iter: 最大迭代次数"""self.k = kself.max_iter = max_iterdef fit(self, X):"""训练方法：寻找数据的最佳聚类中心Args:X: 输入数据矩阵，形状为(n_samples, n_features)"""# 随机选择k个数据点作为初始聚类中心self.centers = X[np.random.choice(len(X), self.k, replace=False)]# 开始迭代优化for _ in range(self.max_iter):# 步骤1：将每个样本分配到最近的聚类中心（E步）labels = self._assign_clusters(X)# 步骤2：根据分配结果重新计算聚类中心（M步）new_centers = self._compute_centers(X, labels)# 如果聚类中心不再变化，提前终止迭代if np.allclose(self.centers, new_centers):breakself.centers = new_centers  # 更新聚类中心return selfdef _assign_clusters(self, X):"""计算每个样本所属的最近聚类中心"""# 计算每个样本到所有聚类中心的欧氏距离（未开平方以提升性能）distances = np.sum((X[:, np.newaxis] - self.centers) ** 2, axis=2)# 返回最近中心的索引（即所属簇的标签）return np.argmin(distances, axis=1)def _compute_centers(self, X, labels):"""根据当前分配结果重新计算聚类中心"""new_centers = np.zeros((self.k, X.shape[1]))for i in range(self.k):# 获取属于当前簇的所有样本cluster_samples = X[labels == i]# 计算新的聚类中心（样本均值）if len(cluster_samples) > 0:new_centers[i] = cluster_samples.mean(axis=0)else:# 如果出现空簇，保持原中心（避免除零错误）new_centers[i] = self.centers[i]return new_centersdef predict(self, X):"""预测新样本的所属簇"""return self._assign_clusters(X)# 实例化并训练模型
model = KMeans(k=4)
model.fit(X)# 获取预测结果
labels = model.predict(X)# 可视化结果
plt.figure(figsize=(8,6))# 绘制所有样本点，按聚类结果着色
plt.scatter(X[:, 0], X[:, 1],  # 使用前两个特征作为坐标c=labels,           # 按预测标签着色cmap='viridis',     # 颜色映射方案s=50,              # 点的大小edgecolor='k'      # 点边缘颜色
)# 标注聚类中心
plt.scatter(model.centers[:, 0], model.centers[:, 1],c='red',           # 中心点颜色s=200,             # 点的大小alpha=0.7,         # 透明度marker='X',        # 标记形状edgecolor='k',     # 边缘颜色linewidth=2        # 边缘线宽
)# 添加图表元素
plt.title('K-means Clustering Result')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.grid(True, linestyle='--', alpha=0.6)
plt.show()