dataframe分组与聚合

import pandas as pd

# 准备数据集
df = pd.read_excel('https://www.gairuo.com/file/data/dataset/team.xlsx')
df.head()

分组对象具体是什么

# 创建分组对象
grouped = df.groupby('team')

# 可将grouped看成一个DataFrame，指定‘team’为分组索引，可进行迭代
for i in grouped:
    print(i)
    break # 只输出一层

('A',        name team  Q1  Q2  Q3  Q4
2       Ack    A  57  60  18  84
7      Lfie    A   9  10  99  37
9     Oscar    A  77   9  26  67
16   Joshua    A  63   4  80  30
17    Henry    A  91  15  75  17
20    Lucas    A  60  41  77  62
22   Arthur    A  44  53  42  40
34  Reggie1    A  30  12  23   9
40     Toby    A  52  27  17  68
42    Dylan    A  86  87  65  20
51    Hugo0    A  28  25  14  71
67    Caleb    A  64  34  46  88
70   Nathan    A  87  77  62  13
71    Blake    A  78  23  93   9
75  Stanley    A  69  71  39  97
79    Tyler    A  75  16  44  63
88    Aaron    A  96  75  55   8)

# 获取A组，是一个DataFrame
grouped.get_group('A')

# 将grouped看成一个DataFrame，取Q1列进行求和（分组求和）
print(grouped['Q1'].sum())  # 取出来是一个Series
grouped[['Q1']].sum() # 取出来是一个DataFrame

team
A    1066
B     975
C    1056
D     860
E     963
Name: Q1, dtype: int64

# 只有数值字段参与求和运算
df.groupby('team').sum() 

取消分组索引

# 默认以分组标签作为索引，也可取消索引
df.groupby('team', as_index=False).sum() 

df.groupby('team', as_index=False).team.count()

对不同列使用不同的计算方法

df.groupby('team', as_index=False).agg({
    'Q1':sum,
    'Q2':'count',
    'Q3':'mean',
    'Q4':max
})

# 对同一列使用不同的计算方法
df.groupby('team').agg({'Q1':[sum,'count','std',max]})

# agg方法无法实现同一列的不同计算方法
df.groupby('team', as_index=False).agg({
    'Q1':sum,
    'Q1':'count',
    'Q1':'std',
    'Q1':max
})

# 分组对象使用apply()调用一个函数（此处调用lambda函数，并传入一个Series映射），传入apply()的是DataFrame
df.groupby('team', as_index=False).apply(lambda x: pd.Series({
    'Q1_sum': x['Q1'].sum(),
    'Q1_count': x['Q1'].count(),
    'Q1_std': x['Q1'].std(),
    'Q1_max': x['Q1'].max()
})) 

以表达式、函数进行分组

# 索引值是否为偶数，分成两组
df.groupby(lambda x: x%2==0).sum() # 以默认的索引进行分组
df.groupby(df.index%2==0).sum() # 也可指定分组索引

# 列名包含Q的分为一组
df.groupby(lambda x: 'Q' in x, axis=1).sum() #字符串求和等于拼接

# 按姓名首字母为元音、辅音分组
def get_letter_type(letter):
    if letter[0].lower() in 'aeiou':
        return '元音'
    else:
        return '辅音'
    
# 使用上述函数进行分组
df.set_index('name').groupby(get_letter_type).sum()

# 指定多个分组索引
df.groupby(['team', df.name.apply(get_letter_type)]).sum()

将分组中的一列输出为列表

# 创建示例数据
tmp = pd.DataFrame({'team':['A','A','A','B','B','B'],'name':['Eric','Eric','Tony','Tony','Tom','Tom',]})
tmp

tmp.groupby('team').apply(lambda x: x['name'].to_list())

team
A    [Eric, Eric, Tony]
B      [Tony, Tom, Tom]
dtype: object

# 去重后输出列表：unique
pd.DataFrame(tmp.groupby('team')['name'].unique()).rename(columns={'name':'agg_name'})

# 去重后输出列表长度：nunique
pd.DataFrame(tmp.groupby('team')['name'].nunique()).rename(columns={'name':'num'})

# 使用apply() 合并输出上述2个结果
tmp.groupby('team', as_index=False).apply(lambda x: pd.Series({
    'agg_name': x['name'].unique(),
    'num': x['name'].nunique()
}))

窗口函数

df['Q1_mean'] = df.groupby('team')['Q1'].transform('mean')
df.sort_values(by='team', ascending=False)

df['Q1_size'] = df.groupby('team')['Q1'].transform('count')
df.sort_values(by='team', ascending=False)

本栏目推荐文章
• 关于对pandas.DataFrame的二维表格数据排序后-再写入到Excel表格的方法
• HDFS 转dataframe
• pandas -- Dataframe 初步使用
• Python之DataFrame的使用
• DataFrame 筛选某列的数据
• Python中Pandas库提供的函数——pd.DataFrame的基本用法
• Python - pandas DataFrame数据的合并与拼接（merge、join、concat）
• 设置jupyter中DataFrame的显示限制方式
• 把pandas DataFrame含有异常值的行打印出来
• DataFrame数据框的Python操作

dataframedatafram dataframe数据 dataframe pandas dataframe条件 dataframe索引 dataframe信息 dataframe数据loc dataframe数据json dataframe数据iloc dataframe python