数据规范化是数据分析中的一个重要步骤，其目的在于确保数据的一致性和可比性，提高数据质量和分析结果的准确性。以下是一些数据规范化的常见方法和技术：

1. 数据清洗：此步骤主要清除数据中的重复项、空格、格式错误等，确保数据的准确性和完整性。
2. 数据转换：数据转换涉及将不同格式或单位的数据统一化，如转换日期格式、货币单位或度量单位，以便进行更有效的比较和分析。
3. 数据规范化：这一步主要是将文本数据转换为统一的术语和格式。例如，设定规则、使用词典或将数据转换为特定的数据格式，以确保数据的一致性和可读性。
4. 数据映射：当处理来自不同数据源的数据时，数据映射特别有用。它将不同数据源的数据映射到一个标准化的模板中，确保数据的一致性和可比性。
5. 数据匹配：这一步骤主要是将同一实体的不同表述进行匹配。例如，在处理个人信息时，可能会将“小李”和“李小”这样的不同姓名表述匹配为同一实体。
6. 数据验证：验证数据是否符合预设的规则或标准，确保数据的准确性和有效性。

在实际应用中，数据规范化有多种方法，例如Min-max规范化、Z-Score规范化以及小数定标规范化等。Min-max规范化是将原始数据投射到指定的空间[min,max]，通过公式新数值 = （原数值-极小值）/ (极大值 - 极小值) 进行计算。Z-Score规范化则是将原始数据转换为正态分布的形式，使得结果更易于比较，其公式为新数值 = （原数值 - 均值）/ 标准差。而小数定标规范化则是通过移动小数点的位置来进行规范化，具体移动位数取决于数据取值的最大绝对值。

除了提高数据质量和一致性，数据规范化还有助于提高数据的准确性和有效性，使得不同来源的数据可以进行更好的比较和分析。同时，它也有助于确保数据的安全和隐私保护，降低数据泄露和滥用的风险。此外，数据规范化还是数据治理和管理的基础，为组织提供了更可靠的数据支持，有助于做出更明智的决策。

在数据库设计中，规范化同样是一个关键步骤。它通过消除冗余数据、降低数据的插入、更新和删除异常，使得数据库中的数据具有最小冗余、最高一致性和完整性。这有助于优化数据库的性能和安全性，提高数据的响应速度和吞吐量。

总的来说，数据规范化是确保数据质量、提高数据分析效率、保障数据安全以及优化数据库设计的重要手段。对于任何组织来说，实施数据规范化都是提升数据管理水平和竞争力的重要途径。

 极大值极小值规划

import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.dates import DateFormatter# 假设你的数据保存在一个名为 '各站点各时刻进出站客流数据.xlsx' 的 Excel 文件中
data = pd.read_excel('各站点各时刻进出站客流数据.xlsx')# 取前几行数据，如果只需要一部分数据进行分析的话
data = data.head(20)# 将'日期'和'时刻'列合并为一个时间戳
data['时间戳'] = pd.to_datetime(data['日期']) + pd.to_timedelta(data['时刻'], unit='H')# 设置 '时间戳' 列为 DataFrame 的索引，方便后续绘图
data.set_index('时间戳', inplace=True)# 删除原始的'日期'和'时刻'列
data.drop(['日期', '时刻'], axis=1, inplace=True)# 数据规范化 - 使用极大值和极小值进行规范化
def min_max_scaler(data_series):min_val = data_series.min()max_val = data_series.max()return (data_series - min_val) / (max_val - min_val)# 应用规范化函数到'进站人数'和'出站人数'列
data['进站人数'] = min_max_scaler(data['进站人数'])
data['出站人数'] = min_max_scaler(data['出站人数'])# 绘制进站人数的折线图
plt.figure(figsize=(12, 6))
plt.plot(data.index, data['进站人数'], label='进站人数', marker='o')# 绘制出站人数的折线图
plt.plot(data.index, data['出站人数'], label='出站人数', marker='o')# 设置图表标题和轴标签
plt.title('站点编号155随时间变化的进出站人数折线图')
plt.xlabel('时间')
plt.ylabel('规范化后的进出站人数')# 显示图例
plt.legend()# 格式化x轴时间戳显示
plt.gca().xaxis.set_major_formatter(DateFormatter('%Y-%m-%d %H:%M'))# 设置 Matplotlib 的参数，以使用支持中文的字体
plt.rcParams['font.sans-serif'] = ['SimHei']  # 使用黑体
plt.rcParams['axes.unicode_minus'] = False  # 正确显示负号# 显示图表
plt.show()

 

 零一规划

import pandas as pd  
import matplotlib.pyplot as plt  
from matplotlib.dates import DateFormatter  # 假设你的数据保存在一个名为 '各站点各时刻进出站客流数据.xlsx' 的 Excel 文件中  
data = pd.read_excel('各站点各时刻进出站客流数据.xlsx')  # 取前几行数据，如果只需要一部分数据进行分析的话  
data = data.head(20)  # 将'日期'和'时刻'列合并为一个时间戳  
data['时间戳'] = pd.to_datetime(data['日期']) + pd.to_timedelta(data['时刻'], unit='H')  # 设置 '时间戳' 列为 DataFrame 的索引  
data.set_index('时间戳', inplace=True)  # 删除原始的'日期'和'时刻'列  
data.drop(['日期', '时刻'], axis=1, inplace=True)  # 零一归化函数  
def normalize(data_series):  min_val = data_series.min()  range_val = data_series.max() - min_val  return (data_series - min_val) / range_val  # 应用零一归化到'进站人数'和'出站人数'列  
data['进站人数'] = normalize(data['进站人数'])  
data['出站人数'] = normalize(data['出站人数'])  # 绘制进站人数的折线图  
plt.figure(figsize=(12, 6))  
plt.plot(data.index, data['进站人数'], label='进站人数', marker='o')  # 绘制出站人数的折线图  
plt.plot(data.index, data['出站人数'], label='出站人数', marker='o')  # 设置图表标题和轴标签  
plt.title('站点编号155随时间变化的进出站人数折线图（零一归化）')  
plt.xlabel('时间')  
plt.ylabel('零一归化后的进出站人数')  # 显示图例  
plt.legend()  # 格式化x轴时间戳显示  
plt.gca().xaxis.set_major_formatter(DateFormatter('%Y-%m-%d %H:%M'))  # 设置 Matplotlib 的参数，以使用支持中文的字体  
plt.rcParams['font.sans-serif'] = ['SimHei']  # 使用黑体  
plt.rcParams['axes.unicode_minus'] = False  # 正确显示负号  # 显示图表  
plt.show()

 

 不规划

import pandas as pd
import matplotlib.pyplot as plt# 假设您的数据保存在一个名为 '各站点各时刻进出站客流数据.xlsx' 的 Excel 文件中
data = pd.read_excel('各站点各时刻进出站客流数据.xlsx')
data = data.head(20)
# 选择需要进行归一化的列
columns_to_normalize = ['进站人数', '出站人数']# 绘制归一化后的进站人数和出站人数的折线图
plt.figure(figsize=(12, 6))# 绘制进站人数的折线图
plt.plot(data['时刻'], data['进站人数'], label='进站人数 (归一化后)', marker='o')# 绘制出站人数的折线图
plt.plot(data['时刻'], data['出站人数'], label='出站人数 (归一化后)', marker='o')# 设置图表标题和轴标签
plt.title('站点随时间变化的进出站人数折线图（归一化后）')
plt.xlabel('时间')
plt.ylabel('归一化后的进出站人数')# 显示图例
plt.legend()
plt.rcParams['font.sans-serif'] = ['SimHei']  # 设置字体为黑体
plt.rcParams['axes.unicode_minus'] = False  # 正确显示负号
# 显示图表
plt.show()

数据集

站点编号	日期	时刻	进站人数	出站人数
155	2015-10-01	7	294	1215
155	2015-10-01	8	1128	4067
155	2015-10-01	9	1441	3713
155	2015-10-01	10	2043	2976
155	2015-10-01	11	2678	3198
155	2015-10-01	12	2515	2804
155	2015-10-01	13	2313	2396
155	2015-10-01	14	1767	2680
155	2015-10-01	15	1873	2202
155	2015-10-01	16	1860	2350
155	2015-10-01	17	2348	1987
155	2015-10-01	18	1136	1982
155	2015-10-01	19	2125	1442
155	2015-10-01	20	1066	930
155	2015-10-01	21	1273	441
155	2015-10-01	22	999	323
155	2015-10-01	24	49	194
155	2015-10-02	7	130	648
155	2015-10-02	8	496	2611
155	2015-10-02	9	740	2284
155	2015-10-02	10	1537	1893
155	2015-10-02	11	1942	2232
155	2015-10-02	12	2483	1866
155	2015-10-02	13	1554	1607
155	2015-10-02	14	1517	1826
155	2015-10-02	15	1526	1784
155	2015-10-02	16	1539	1883
155	2015-10-02	17	2044	1784
155	2015-10-02	18	1400	1668
155	2015-10-02	19	2080	1292
155	2015-10-02	20	949	924
155	2015-10-02	21	1278	427
155	2015-10-02	22	660	239
155	2015-10-02	23	10	127
155	2015-10-03	7	118	374
155	2015-10-03	8	417	1363
155	2015-10-03	9	568	1695
155	2015-10-03	10	1448	1781
155	2015-10-03	11	2259	1956
155	2015-10-03	12	2377	1724
155	2015-10-03	13	1692	1196
155	2015-10-03	14	1582	1488
155	2015-10-03	15	1309	1550
155	2015-10-03	16	1543	1685
155	2015-10-03	17	1948	1605
155	2015-10-03	18	1462	1683
155	2015-10-03	19	2218	1339
155	2015-10-03	20	1409	731
155	2015-10-03	21	1347	360
155	2015-10-03	22	541	209
155	2015-10-03	24	17	92
155	2015-10-04	7	122	280
155	2015-10-04	8	402	1286
155	2015-10-04	9	620	1684
155	2015-10-04	10	1447	1598
155	2015-10-04	11	2148	1644
155	2015-10-04	12	2563	1529
155	2015-10-04	13	1581	1171
155	2015-10-04	14	1629	1381
155	2015-10-04	15	1653	1580
155	2015-10-04	16	1690	1713
155	2015-10-04	17	2323	1761
155	2015-10-04	18	1719	1774
155	2015-10-04	19	3006	1412
155	2015-10-04	20	1687	781
155	2015-10-04	21	1410	421
155	2015-10-04	22	868	297
155	2015-10-04	24	62	240
155	2015-10-05	7	123	326
155	2015-10-05	8	420	1192
155	2015-10-05	9	690	1750
155	2015-10-05	10	1182	1455
155	2015-10-05	11	2179	1482
155	2015-10-05	12	2453	1491
155	2015-10-05	13	1635	1409
155	2015-10-05	14	1690	1579
155	2015-10-05	15	1680	1652
155	2015-10-05	16	1758	1908
155	2015-10-05	17	2510	1717
155	2015-10-05	18	1500	1856
155	2015-10-05	19	2754	1440
155	2015-10-05	20	1359	761
155	2015-10-05	21	1437	407
155	2015-10-05	22	947	315
155	2015-10-05	24	111	211
155	2015-10-06	7	97	279
155	2015-10-06	8	467	1196
155	2015-10-06	9	670	1763
155	2015-10-06	10	1307	1314
155	2015-10-06	11	2463	1537
155	2015-10-06	12	2858	1568
155	2015-10-06	13	2110	1395
155	2015-10-06	14	2344	1559
155	2015-10-06	15	2081	1634
155	2015-10-06	16	1917	1648
155	2015-10-06	17	2935	1481
155	2015-10-06	18	1665	1469
155	2015-10-06	19	2862	1354
155	2015-10-06	20	1383	920
155	2015-10-06	21	2423	464
155	2015-10-06	22	1533	300
155	2015-10-06	24	104	175
155	2015-10-07	7	112	311
155	2015-10-07	8	465	1296
155	2015-10-07	9	790	1725
155	2015-10-07	10	1557	1385
155	2015-10-07	11	3121	1498
155	2015-10-07	12	3302	1723
155	2015-10-07	13	3068	1739
155	2015-10-07	14	2810	1852
155	2015-10-07	15	2560	1895
155	2015-10-07	16	2442	2063
155	2015-10-07	17	3932	1910
155	2015-10-07	18	2118	1907
155	2015-10-07	19	3308	1583
155	2015-10-07	20	1530	1060
155	2015-10-07	21	2897	602
155	2015-10-07	22	1389	319
155	2015-10-07	24	144	219
155	2015-10-08	7	169	314
155	2015-10-08	8	600	1573
155	2015-10-08	9	582	2452
155	2015-10-08	10	962	1468
155	2015-10-08	11	1825	1201
155	2015-10-08	12	1305	1207
155	2015-10-08	13	1422	1196
155	2015-10-08	14	1470	1532
155	2015-10-08	15	1424	1343
155	2015-10-08	16	1342	1242
155	2015-10-08	17	2186	1096
155	2015-10-08	18	1298	1297
155	2015-10-08	19	1902	1090
155	2015-10-08	20	1192	608
155	2015-10-08	21	1128	362
155	2015-10-08	22	333	274
155	2015-10-08	24	21	197
155	2015-10-09	7	122	222
155	2015-10-09	8	494	1219
155	2015-10-09	9	534	2236
155	2015-10-09	10	922	1394
155	2015-10-09	11	1814	1206
155	2015-10-09	12	1202	1246
155	2015-10-09	13	1235	1071
155	2015-10-09	14	1281	1431
155	2015-10-09	15	1357	1323
155	2015-10-09	16	1186	1340
155	2015-10-09	17	1750	1392
155	2015-10-09	18	1380	1550
155	2015-10-09	19	2039	1307
155	2015-10-09	20	1080	673
155	2015-10-09	21	829	284
155	2015-10-09	22	323	177
155	2015-10-09	24	13	89
155	2015-10-10	7	106	234
155	2015-10-10	8	463	964
155	2015-10-10	9	519	1942
155	2015-10-10	10	1064	1394
155	2015-10-10	11	1797	1256
155	2015-10-10	12	1413	1079
155	2015-10-10	13	1336	1132
155	2015-10-10	14	1344	1320
155	2015-10-10	15	1312	1371
155	2015-10-10	16	1292	1484
155	2015-10-10	17	1779	1466
155	2015-10-10	18	1325	1621
155	2015-10-10	19	2196	1838
155	2015-10-10	20	1411	971
155	2015-10-10	21	1004	379
155	2015-10-10	22	379	239
155	2015-10-10	24	24	133
155	2015-10-11	7	124	210
155	2015-10-11	8	417	869
155	2015-10-11	9	637	1350
155	2015-10-11	10	1445	1316
155	2015-10-11	11	2185	1168
155	2015-10-11	12	1931	1118
155	2015-10-11	13	1468	1195
155	2015-10-11	14	1261	1338
155	2015-10-11	15	1243	1539
155	2015-10-11	16	1485	1875
155	2015-10-11	17	2052	1975
155	2015-10-11	18	1310	2127
155	2015-10-11	19	1991	1865
155	2015-10-11	20	1346	1071
155	2015-10-11	21	1132	434
155	2015-10-11	22	434	252
155	2015-10-11	24	21	165
155	2015-10-12	7	154	274
155	2015-10-12	8	596	1200
155	2015-10-12	9	521	2288
155	2015-10-12	10	1150	1578
155	2015-10-12	11	1848	1340
155	2015-10-12	12	1397	1193
155	2015-10-12	13	1411	1146
155	2015-10-12	14	1271	1318
155	2015-10-12	15	1161	1363
155	2015-10-12	16	1142	1316
155	2015-10-12	17	1522	1228
155	2015-10-12	18	1295	1186
155	2015-10-12	19	1886	1080
155	2015-10-12	20	1084	600
155	2015-10-12	21	813	264
155	2015-10-12	22	320	166
155	2015-10-12	24	23	120
155	2015-10-13	7	122	218
155	2015-10-13	8	467	1055
155	2015-10-13	9	423	2008
155	2015-10-13	10	1065	1342
155	2015-10-13	11	1547	1203
155	2015-10-13	12	1339	998
155	2015-10-13	13	1255	1003
155	2015-10-13	14	1164	1161
155	2015-10-13	15	1075	1281
155	2015-10-13	16	1106	1289
155	2015-10-13	17	1589	1217
155	2015-10-13	18	1303	1211
155	2015-10-13	19	1935	1102
155	2015-10-13	20	1173	640
155	2015-10-13	21	802	276
155	2015-10-13	22	320	181
155	2015-10-13	24	23	69
155	2015-10-14	7	113	211
155	2015-10-14	8	427	987
155	2015-10-14	9	475	1999
155	2015-10-14	10	1019	1437
155	2015-10-14	11	1651	1197
155	2015-10-14	12	1349	1106
155	2015-10-14	13	1331	1022
155	2015-10-14	14	1285	1171
155	2015-10-14	15	1099	1206
155	2015-10-14	16	1149	1249
155	2015-10-14	17	1583	1077
155	2015-10-14	18	1385	1147