-
1. 数据加载与初步处理
# 文件路径 file_path = '../data/all_database_result.csv'# 读取CSV文件到DataFrame df = pd.read_csv(file_path)# 选择特定的特征列 selected_features = ['Q10', 'Q12', 'Q13', 'Q14']# 缺失值处理：这里简单地删除含有任何缺失值的行 df.dropna(subset=selected_features, inplace=True) - 目的：从指定路径加载数据，并选择用于聚类的特定特征列。
- 操作：使用
pandas库读取CSV文件，然后删除包含缺失值的行。
2. 异常值处理
# 异常值处理：基于Z-score去除异常值
z_scores = np.abs((df[selected_features] - df[selected_features].mean()) / df[selected_features].std())
df = df[(z_scores < 3).all(axis=1)] # 假设Z-score大于3为异常值目的：识别并移除异常值，防止它们影响聚类效果。
操作：计算每行在选定特征上的Z分数（标准化后的距离），并将所有Z分数绝对值小于3的行保留下来，认为其他行为异常值并移除。
3. 数据标准化
# 数据标准化（Standardization）
scaler = StandardScaler()
df_normalized = scaler.fit_transform(df[selected_features])目的：将不同特征的尺度统一，使得每个特征的均值为0，标准差为1。
操作：使用 StandardScaler 对选定特征进行标准化处理。
4. PCA降维（可选）
使用PCA进行降维
pca = PCA(n_components=2) # 或者根据需要调整n_components
df_pca = pca.fit_transform(df_normalized)目的：减少数据维度，可能有助于提高聚类算法的效率和效果。
操作：使用主成分分析（PCA）将数据降至二维或三维，便于可视化和进一步分析。
5. 第一阶段聚类
# 第一阶段聚类：尝试不同的簇数并计算轮廓系数
silhouette_scores = []
cluster_range = range(2, 11) # 尝试从2到10个簇for k in cluster_range:# 应用KMeanskmeans = KMeans(n_clusters=k, random_state=42)clusters = kmeans.fit_predict(df_pca)# 计算轮廓系数silhouette_avg = silhouette_score(df_pca, clusters)silhouette_scores.append(silhouette_avg)print(f"对于 {k} 个簇，轮廓系数为: {silhouette_avg}")# 找出具有最佳轮廓系数的簇数
best_k_first_stage = cluster_range[silhouette_scores.index(max(silhouette_scores))]
print(f"\n第一阶段最佳簇数为 {best_k_first_stage}，对应的轮廓系数为: {max(silhouette_scores)}")目的：确定最佳簇数，通过比较不同簇数下的轮廓系数来选择最优的簇数。
操作：循环遍历不同的簇数（从2到10），对每个簇数应用KMeans聚类，并计算相应的轮廓系数，选择轮廓系数最高的簇数作为第一阶段的最佳簇数。
6. 第二阶段聚类
# 使用最佳簇数进行第一次聚类
kmeans_first_stage = KMeans(n_clusters=best_k_first_stage, random_state=42)
clusters_first_stage = kmeans_first_stage.fit_predict(df_pca)# 第二阶段聚类：固定簇数为3
final_k = 3
kmeans_final = KMeans(n_clusters=final_k, random_state=42)
clusters_final = kmeans_final.fit_predict(df_pca)# 计算最终聚类的轮廓系数
silhouette_avg_final = silhouette_score(df_pca, clusters_final)
print(f"\n最终聚类结果为 {final_k} 个簇，对应的轮廓系数为: {silhouette_avg_final}")目的：基于第一阶段的结果，再次应用KMeans聚类，这次将簇数固定为3，得到最终的聚类结果。
操作：首先使用第一阶段确定的最佳簇数进行聚类，然后固定簇数为3进行第二次聚类，并计算最终聚类结果的轮廓系数。
7. 结果保存
# 将最终聚类结果添加回原始DataFrame，并命名为'result'
df['result'] = clusters_final# 打印前几行查看结果
print("\n包含最终聚类结果的数据框：")
print(df.head())# 如果需要保存结果到新的CSV文件
output_file_path = '../data/all_database_result_with_final_clusters.csv'
df.to_csv(output_file_path, index=False)
print(f"\n结果已保存到: {output_file_path}")目的：将最终的聚类结果保存回原始数据框，并导出到一个新的CSV文件中。
操作：将最终的聚类标签添加到数据框中，并使用 to_csv 方法保存结果。
