在Pandas和GeoPandas中,可以使用几种不同的方法来遍历DataFrame的每一行
0 数据
import pandas as pddata = {'column1': range(1, 1001),'column2': range(1001, 2001)
}
df = pd.DataFrame(data)
df
1 iterrows
for index, row in df.iterrows():print(index)print(row)
'''
0
column1 1
column2 1001
Name: 0, dtype: int64
1
column1 2
column2 1002
Name: 1, dtype: int64
2
column1 3
column2 1003
Name: 2, dtype: int64
3
column1 4
column2 1004
Name: 3, dtype: int64
...
'''
- 优点:简单直观,可以同时获取行索引和数据。
- 缺点:比其他方法慢,尤其是在大数据集上,因为它逐行遍历。
2 itertuples
for row in df.itertuples():print(row)print(row.Index) print(row.column1)print(row.column2)
'''
Pandas(Index=0, column1=1, column2=1001)
0
1
1001
Pandas(Index=1, column1=2, column2=1002)
1
2
1002
Pandas(Index=2, column1=3, column2=1003)
2
3
1003
...
'''
- 优点:比
iterrows()
快,因为它返回命名元组,遍历的是元组而不是Series对象。 - 缺点:仍然比向量化操作慢,稍微复杂一点。
3 apply
def process_row(row):print(row)df.apply(process_row, axis=1)
'''
column1 1
column2 1001
Name: 0, dtype: int64
column1 2
column2 1002
Name: 1, dtype: int64
column1 3
column2 1003
Name: 2, dtype: int64
...
'''
- 优点:可以方便地应用一个函数到每一行或每一列。
- 缺点:比
itertuples()
慢,而且在使用上可能比直接遍历更复杂一些。
4 applymap
def process_row(element):print(element)df.applymap(process_row)
'''
1
2
3
4
5
6
7
8
9
10
...
'''
- 优点:可以方便地应用一个函数到DataFrame的每个元素。
- 缺点:可能不如其他方法高效,尤其是在大数据集上。
5 逐元素at
for i in range(len(df)):print(df.at[i,'column1'],df.at[i,'column2'])
'''
1 1001
2 1002
3 1003
4 1004
5 1005
...
'''
6 使用timeit 分别计算运行时间
python 笔记: timeit (测量代码运行时间)-CSDN博客zhiguan
import timeit
def row_at(df):for i in range(len(df)):df.at[i,'column1']df.at[i,'column2']def iter_row(df):for index,row in df.iterrows():indexrowdef iter_tuple(df):for row in df.itertuples():rowdef apply_df(df):df.apply(lambda x:x,axis=1)def apply_map_df(df):df.applymap(lambda x:x)time_at=timeit.timeit("row_at(df)", globals=globals(),number=1000)
time_iterrow=timeit.timeit('iter_row(df)',globals=globals(),number=1000)
time_itertuple=timeit.timeit('iter_tuple(df)',globals=globals(),number=1000)
time_apply=timeit.timeit('apply_df(df)',globals=globals(),number=1000)
time_applymap=timeit.timeit('apply_map_df(df)',globals=globals(),number=1000)time_at,time_iterrow,time_itertuple,time_apply,time_applymap
'''
(4.100567077999585,14.672198772001138,0.37428459300281247,12.572721185002592,0.5845120449957903)
'''
直观可视化
import seaborn as sns
import matplotlib.pyplot as pltx = ['at by row','iterrows','itertuples','apply','applymap']
y = [time_at,time_iterrow,time_itertuple,time_apply,time_applymap] # 请将这些值替换为你实际的时间数据sns.barplot(x=x, y=y)
# 创建 barplotfor i, val in enumerate(y):plt.text(i, val + 0.01, round(val, 2), ha='center')
# 添加标签(x轴、y轴、text的label)# 显示图形
plt.show()