Pandas库
1. 数据结构
| 数据结构 | 维度 | 说明 |
|---|---|---|
| Series | 1 | 该结构能够存储各种数据类型，比如字符数、整数、浮点数、Python 对象等，Series 用 name 和 index 属性来描述数据值。Series 是一维数据结构，因此其维数不可以改变 |
| DataFrame | 2 | DataFrame 是一种二维表格型数据的结构，既有行索引，也有列索引。行索引是 index，列索引是 columns。 在创建该结构时，可以指定相应的索引值 |
1.1 Series
Pandas Series 类似表格中等一个列（column），类似于一维数组，可以保存任何数据类型 Series 由索引（index）和列组成，函数：
| 函数名 | 参数 |
|---|---|
| pandas.Series(data,index,dtype) | data：一组数据（ndarray 类型） index：数据索引标签，如果不指定，默认从 0 开始 dtype：数据类型，默认会自己判断 copy：表示对 data 进行拷贝，默认为 False |
1.2 创建Series对象
import pandas as pd
import numpy as np
from pandas.core.interchange.dataframe_protocol import DataFramedef pd_series():#创建一个空Series对象s = pd.Series()print(s)#创建一个Series对象，用python列表初始化s1 = pd.Series(['张三','李四','王五'])print(s1)print(s1[0])#创建Series对象，使用指定索引s2 = pd.Series([1,2,3],index=['a','b','c'])print(s2)print(s2['a'])print(s2[2])#也可以取，但是会报警告#根据ndarray创建Series对象arr = np.array([1,2,3,4])s3 = pd.Series(arr)print(s3)#根据字典创建Series对象dic = {'name':'zhangsan','age':18,'sexual':0}s4 = pd.Series(dic)print(s4)#通过标量创建对象,如果不指定index，则创建一行，如果指定index，则按照index数量进行创建行，每行都是标量值s5 = pd.Series(5,index=[0,1,2,3,4,5])print(s5)
pd_series()
1.3 Series常见属性
| 名称 | 属性 |
|---|---|
| axes | 以列表的形式返回所有行索引标签 |
| dtype | 返回对象的数据类型 |
| empty | 返回一个布尔值，用于判断数据对象是否为空 |
| ndim | 返回输入数据的维数 |
| size | 返回输入数据的元素数量 |
| values | 以 ndarray 的形式返回 Series 对象 |
| index | 返回一个RangeIndex对象，用来描述索引的取值范围 |
def pd_series_attr():s = pd.Series(['a','b','c','d','e'])#获取Series对象的索引信息print(s.axes)#获取数据类型print(s.dtype)#判断Series是否为空print(s.empty)#获取数组维度print(s.ndim)#获取Series对象中的元素个数print(s.size)#获取Series对象的值，返回一个ndarray的数组#获取索引信息print(s.values)print(s.index)pd_series_attr()
1.4 Series常用方法
def pd_series_func():s = pd.Series(['a','b','c','d','e','f',None])print(s)#获取Series前n行数据，默认前5行print(s.head())print(s.head(3))# 获取Series后n行数据，默认后5行print(s.tail())print(s.tail(3))#判断Series对象是否为None，是为Ture，不是为Falseprint(s.isnull())print(s.notnull())#利用布尔判断结果，筛选满足条件的对象print(s[s.notnull()])pd_series_func()
1.5 DataFrame
| 函数名 | 参数 |
|---|---|
| pd.DataFrame( data, index, columns, dtype, copy) | data：一组数据（ndarray、series, map, lists, dict 等类型） index：索引值，或者可以称为行标签 coumns：列标签，默认为 RangeIndex （0, 1, 2, …, n） dtype：数据类型 copy：默认为 False，表示复制数据 data |
1.6 创建DataFrame对象
def pd_df():#创建DataFrame空对象df = pd.DataFrame()print(df)#通过一维数组创建DataFrame对象df1 = pd.DataFrame(['zhangsan','lisi','wangwu'])print(df1)#通过columns指定列名df2 = pd.DataFrame(['zhangsan','lisi','wangwu'],columns=['name'])print(df2)#通过二维数组创建DataFrame对象df3 = pd.DataFrame([['zhangsan',18],['lisi',20],['wangwu',88]],columns=['name','age'])print(df3)#通过数字嵌套字典（json）创建DataFrame对象arr = [{'name': 'zhangsan', 'age': 18}, {'name': 'lisi', 'age': 20, 'sexual': 'male'}]df4 = pd.DataFrame(data=arr)print(df4)#字典的 key 无法找到对应的 value，将使用 NaN 代替。NaN：not a number（数字类型，解释为不是数字的数字）#通过字典创建：字典中每个key对应的value是一维数组dic = {'name':['zhangsan','lisi','wangwu'],'age':[18,19,88]}df5 = pd.DataFrame(data=dic)print(df5)#通过字典和Series创建，字典中每个key对应一个Series对象dic1 = {'one':pd.Series([1,2,3]),'two':pd.Series([4,5,6,7])}df6 = pd.DataFrame(dic1)print(df6)pd_df()
1.7 DataFrame常用属性和方法
DataFrame 的属性和方法，与 Series 基本相同
| 名称 | 属性和方法描述 |
|---|---|
| T | 行和列转置。 |
| axes | 返回一个仅以行轴标签和列轴标签为成员的列表。 |
| dtypes | 返回每列数据的数据类型。 |
| empty | DataFrame中没有数据或者任意坐标轴的长度为0，则返回True。 |
| ndim | 轴的数量，也指数组的维数。 |
| shape | 返回一个元组，表示了 DataFrame 维度。 |
| size | DataFrame中的元素数量。 |
| values | 使用 numpy 数组表示 DataFrame 中的元素值。 |
| head() | 返回前 n 行数据。 |
| tail() | 返回后 n 行数据。 |
def pd_df_attr():df = pd.DataFrame({'A':[1,2,3],'B':[4,5,6]})print(df)print('-------')# DataFrame转置print(df.T)print('-----')# DataFrame的行、列索引信息print(df.axes)print('------')# DataFrame每列数据类型print(df.dtypes)print('-----')# 判断DataFrame是否为空，DataFrame中的元素为None或NaN也不为空df1 = pd.DataFrame()print(df1.empty)print('======')# DataFrame的维度print(df.ndim)print('++++++')# DataFrame的形状print(df.shape)print('-----')# DataFrame中所有元素的数量print(df.size)print('======')# 返回ndarray对象的数组print(df.values)print('+++++')# 返回DataFrame的前n行数据，默认n=5print(df.head(2))print('-----')# 返回DataFrame的后n行数据，默认n=5print(df.tail(2))
pd_df_attr()
2. 索引
2.1 列索引
def pd_df_col():df = pd.DataFrame({'name':['zhangsan','lisi','wangwu'],'age':[21,22,33]})name_list = list(df['name'])print(name_list)print(df['age'])#df添加新列，可以用列表、ndarray、series添加#列表和ndarray添加时，行数要和原df中数据行数保持一致，series可以不一致，缺少的会自动补充为NaNdf['id'] = np.array([1, 2, 3])df['address'] = ['sichuan','yunnan','beijing']df['sexual'] = pd.Series(['male','femela'])print(df)#insert：在指定列插入一列数据#loc：指定列的索引值#column：要插入的列名#value：要插入的值df.insert(1,'password',pd.Series([111,22,3333]))print(df)#修改某一列的值df['password'] = pd.Series([99,555,2])print(df)#drop：删除列#labels：要删除的列（或者行）标签#axis：轴，=0时按行删除，=1时按列删除#inplace：是否在原DataFrame上删除，如果为True删除原DataFrame的数据，为False则返回新DataFrame，默认为Falsedeleted_df = df.drop(labels='id',axis=1)print(deleted_df)print(df)deleted_df = df.drop(labels='id', axis=1,inplace=True)print(deleted_df,'-----')print(df)
pd_df_col()
2.2 行索引
def pd_df_row():data = {'A':[1,2,3,4],'B':[5,6,7,8],'C':[9,10,11,12]}df = pd.DataFrame(data,index=['a','b','c','d'])print(df)#通过索引标签获取DataFrame中的行或列，如果获取一行或一列则返回Series对象，如果获取多行或多列则返回新的DataFrame#通过行索引标签获取a行的数据，返回结果是Series对象print(df.loc['a'])#通过切片的方式获取a行到c行的数据，返回结果是DataFrame，切片范围是左闭右闭区间print(df.loc['a':'c'])#获取a行和B列对应的数据，返回结果是一个值print(df.loc['a','B'])#根据a行c行A列C列获取对应的数据，返回结果是DataFrameprint(df.loc[['a','c'],['A','C']])# loc方法不能使用行所在位置的索引进行获取# print(df.loc[0])# iloc：根据行所在的位置进行获取，不能通过行或列的索引标签获取数据# print(df.iloc['a'])# 获取行索引位置为0的行数据print(df.iloc[0])# 通过切片获取索引位置为0-2的行数据（不包括2），切片取值范围左闭右开print(df.iloc[0:2])# 通过行索引位置和列索引位置，获取对应的数据，返回一个值print(df.iloc[0,2])# 通过多个行索引位置和多个列索引位置，获取对应值print(df.iloc[[0,2],[0,2]])# 直接通过切片获取多行数据，切片范围是左闭右开区间print(df[0:2])pd_df_row()
3. 常用函数
| 函数名称 | 描述说明 |
|---|---|
| count() | 统计某个非空值的数量 |
| sum() | 求和 |
| mean() | 求均值 |
| median() | 求中位数 |
| std() | 求标准差 |
| min() | 求最小值 |
| max() | 求最大值 |
| abs() | 求绝对值 |
| prod() | 求所有数值的乘积 |
import pandas as pd
import numpy as np
def pd_df_cal():data = {'A':[1,2,3,4,None],'B':[10,20,30,40,50],'C':[100,200,300,400,500]}df = pd.DataFrame(data)# 求每列的算数平均数print(df.mean())# 求每列的中位数print(df.median())# 求每列的样本方差print(df.var())# 求每列的标准方程print(df.std())# 求每列的最小值print(df.min())# 求每列的最大值print(df.max())# 求每列的所有元素之和print(df.sum())# 求每列非零元素的数量print(df.count())pd_df_cal()
