目 录
摘 要 I
ABSTRACT II
1 绪论 5
1.1选题背景及意义 5
1.2研究现状 5
1.2研究主要内容 5
2 系统相关技术介绍 7
2.1聚类算法 7
2.2 ECharts 7
2.3 Python 7
2.4 MySQL简介 8
3 系统分析 9
3.1 功能需求分析 9
3.2 业务流程分析 10
3.3 数据流图 14
3.4 数据库概念模型设计 17
4 系统设计 18
4.1 系统网络架构设计 18
4.2 系统总体设计 18
4.3 系统功能模块设计 19
4.4 程序系统的结构 21
4.5 大数据集群框架模块设计说明 21
4.5.1 程序描述 21
4.5.2 功能 21
4.5.3 算法 22
4.6 大数据处理模块设计说明 22
4.6.1 程序描述 22
4.6.2 功能 22
4.6.3 算法 23
4.7 数据可视化模块设计 23
4.7.1 程序描述 23
4.7.2 功能 23
4.7.3 算法 24
4.8 数据库设计 24
4.8.1 数据库表设计 24
4.8.2 数据库连接设计 25
5 系统实现 28
5.1 数据清洗的实现 28
5.2 数据库工具类编写实现 29
5.3导入IPUtils工具类对IP进行解析 30
5.4编写Dao层将数据解析并存储到数据库中 31
5.5 对各维度数据的统计并调用Dao入库 31
5.6 构建数据可视化项目 34
5.7 使用echarts进行数据可视化 36
6 总结 38
参考文献 39
致 谢 41
1 绪论
1.1选题背景及意义
当代大学生是未来社会建设的栋梁，过分追求时尚和名牌，存在攀比心理。为了拥有一款手机或换一款流行的手机，有的同学情愿节衣缩食，不惜牺牲其他必要开支；有些同学为了一件名牌衣服、名牌鞋帽，甚至向别人借钱以满足欲望。一些学生不懂得量入而出，受虚荣心的驱使极易形成无休止的攀比心理。人际交往消费过度，主要体现为通讯支出和恋爱支出[1-2]。
大多承认追求情感需要物质投入，经常难以理性把握适度消费的原则。经济独立意识较弱，理财观念淡薄。学生在学期间做兼职占比太低，真正渴望经济独立的同学太少，拿着父母的钱出去挥霍者居多。大学生盲目消费的行为，给了校园贷等非法平台可乘之机[3]。许多学生对自身还款能力高估，由此导致拆东墙补西墙，借新贷还旧贷的窘况愈演愈烈，而大学生校园贷的合同，会有很多的陷阱，手续费、滞纳金、利息等，学生无力偿还导致债台高筑，从而违约，网贷平台就采取公开裸照、威胁、恐吓、跟踪、骚扰等方式催债，这样会使大学生心理和身体恐惧、矛盾，造成心理创伤[4]。
引导大学生继续保持艰苦朴素、勤俭节约的消费观念，反对奢侈浪费、盲目攀比、过高消费等不良消费风气，加强大学生健康的消费观念的培养与塑造，在当前构建节约型社会的大环境下具有非常重要的意义[5]。
1.2研究现状
1.2研究主要内容
本次设计的高校学生消费行为分析系统可以很好的收集到原始数据，并且处理这些收集来的这些原始数据，把这些数据中有用的部分我们清洗提取处理，做成我们需要的大学生消费行为的这种指标信息，然后给我分析，也可以给后面做用户画像，为大学生做一个消费引导，树立正确的消费观，所以我的这个系统在当前这个时代是很有研究价值的。
该系统的架构组成为：
- 数据采集模块：主要负责各种用户信息数据的收集工作。
- 原始数据存储模块：主要负责把收集出来打大量数据储存到可以做分析的系统平台上。
- 原始数据清洗模块：主要负责原始数据的格式化清洗和查询出自己业务需要的数据格式。
- 可用数据存储模块：主要负责把清除出来的需要用的数据放到数据仓库中使之可以用hql进行查询分析，然后得出每个业务需要的不同数据指标。
- 数据分析展示模块：主要负责把分析出来的数据指标展示出来给人们分析这个网站的友好度，和他的完成度或者找出网站中出现了什么问题，来分析大学生消费行为的特征做出不同的策略。
本文转载自：http://www.biyezuopin.vip/onews.asp?id=14113
import matplotlib.pyplot as plt
#解决中文乱码问题
plt.rcParams["font.sans-serif"] = 'SimHei'
#解决负号无法正常显示问题
plt.rcParams['axes.unicode_minus'] = False
import pandas as pd
import numpy as npdf = pd.read_csv('E:/泰迪云课堂/python数据分析实训/学生校园消费行为分析/result/task1_X.csv', encoding='gbk')
#选取消费数据
df1 = df.loc[df['Type'] == '消费']
df1["Dept"].value_counts()
#提取食堂
index=['第四食堂', '第一食堂','第二食堂','红太阳超市','第五食堂','第三食堂','好利来食品店','水电缴费处']
df2 = df1.loc[df1['Dept'].isin(index)]
#统计每人在各消费地点的刷卡频次，平均消费
df3 = df2.groupby(['CardNo','Dept']).agg({'Type':'count','Money':'mean'}).reset_index()#索引转为列
#转换地点为数值，文本数字化
from sklearn.preprocessing import LabelEncoder
df3['deptlabel'] = LabelEncoder().fit_transform(df3['Dept'].values)
df3.head(10)
#k值
def k_SSE(X,clusters):K = range(1,clusters+1)TSSE = []for k in K:SSE = []kmeans = KMeans(n_clusters = k)kmeans.fit(X)labels = kmeans.labels_centers = kmeans.cluster_centers_for label in set(labels):SSE.append(np.sum((X.loc[labels == label,]-centers[label,:])**2))TSSE.append(np.sum(SSE))plt.style.use('ggplot')plt.plot(K,TSSE,'b*-')plt.xlabel('簇的个数')plt.ylabel('簇内离差平方和之和')plt.savefig("E:/泰迪云课堂/python数据分析实训/学生校园消费行为分析/result/task3_X3.png")plt.show()X = df3.loc[:,['Type','Money','deptlabel']]
#调用函数
k_SSE(X,15)
# 均值-方差标准化
from sklearn.preprocessing import StandardScaler #导入均值-方差规范化模块
X = df3.loc[:,['Type','Money','deptlabel']]
scaler = StandardScaler()#创建标准差标准化转换器
scaler.fit(X) #生成计算规则
dt = scaler.transform(X) #数据转换，标准化数据#建立模型
from sklearn.cluster import KMeans #导入聚类算法模块
kmeans = KMeans(n_clusters=3, max_iter = 100) #构建K-Means聚类模型 分3类，聚类最大循环次数
kmeans.fit(dt) #训练模型，开始聚类
fit_label = kmeans.labels_ #聚类结果标签
center = kmeans.cluster_centers_ #类的簇中心
Fs=pd.Series(fit_label,index=df3['CardNo'])
r1 = pd.Series(fit_label).value_counts()#统计各个类别的数目
r2 = pd.DataFrame(center)#找出聚类中心
r = pd.concat([r1,r2],axis = 1)#横向连接，得到聚类中心对应的类别下数目
r.columns = list(X.columns)+[u'类别数目']#重命名表头
#绘制模型聚类结果
y_pred =kmeans.fit_predict(dt)
x = [n[0] for n in dt]
y = [n[1] for n in dt]
plt.scatter(x,y,c=y_pred,marker='o')
plt.xlabel('刷卡')
plt.ylabel('消费')
plt.savefig("E:/泰迪云课堂/python数据分析实训/学生校园消费行为分析/result/task3_X4.png")
plt.show()
