pandas速成笔记(3)-join/groupby/sort/行列转换
接继续 ，这回看下一些常用的操作：
一、join 联表查询
有数据库开发经验的同学，一定对sql中的join ... on 联表查询不陌生，pandas也有类似操作
假设test.xlsx的sheet1, sheet2中分别有下面的数据(相当于2张表)
现在要以ID做为作为Key，将二张表join起来，可以这样写：
import pandas as pd
pd1 = pd.read_excel("./data/test.xlsx", sheet_name="sheet1", index_col="ID")
pd2 = pd.read_excel("./data/test.xlsx", sheet_name="sheet2", index_col="ID")
print("-----pd1--------")
print(pd1)
print("\n-----pd2--------")
print(pd2)
print("\n------default-------")
pd3 = pd1.join(pd2)
print(pd3)
print("\n------left-------")
pd3 = pd1.join(pd2, how="left")
print(pd3)
print("\n------right-------")
pd3 = pd1.join(pd2, how="right")
print(pd3)
print("\n------inner-------")
pd3 = pd1.join(pd2, how="inner")
print(pd3)
print("\n------outer-------")
pd3 = pd1.join(pd2, how="outer")
print(pd3)
输出：
-----pd1--------
Name
ID
10 A
11 B
12 C
-----pd2--------
Score
ID
11 90
12 80
13 76
------default-------
Name Score
ID
10 A NaN
11 B 90.0
12 C 80.0
------left-------
Name Score
ID
10 A NaN
11 B 90.0
12 C 80.0
------right-------
Name Score
ID
11 B 90
12 C 80
13 NaN 76
------inner-------
Name Score
ID
11 B 90
12 C 80
------outer-------
Name Score
ID
10 A NaN
11 B 90.0
12 C 80.0
13 NaN 76.0
是不是跟sql几乎一模一样？如果2个表格中的Key，名称不一样，比如第2个表格长这样，第1列不叫ID，而是stutent_id
也不影响，只要在读取时设置了索引即可，默认join时就是用index列做为key关联
二、groupby分组统计
假设有一张表：
想按月汇总下Amount的总和，直接使用groupby("Month")
import pandas as pd
df = pd.read_excel("./data/test.xlsx")
print(df)
print("------------")
df_month = df.groupby("Month").sum()
print(df_month)
输出：
Category Amount Month
0 A 10 2021-09
1 B 20 2021-09
2 C 30 2021-09
3 A 15 2021-10
4 B 25 2021-10
5 C 35 2021-10
------------
Amount
Month
2021-09 60
2021-10 75
来个更复杂的，希望按Category看看，在本月当中该Category的Amount占"当月Amount总和"的占比，比如2021-09月，Amount总和为60，而9月之中，C类的Amount=30，即9月C类的Amount占9月总Amount的50%
import pandas as pd
df = pd.read_excel("./data/test.xlsx")
print(df)
print("------------")
df_month = df.groupby("Month").sum()
print(df_month)
print("------------")
# 插入2列
df.insert(2, 'MonthTotal', 0)
df.insert(3, 'MonthPercent', 0.0)
# 计算每个月，各Category的Amount占比
for idx2, data2 in df_month.iterrows():
for idx, data in df.iterrows():
if idx2 == data["Month"]:
data["MonthTotal"] = data2["Amount"]
data["MonthPercent"] = data["Amount"] / data2["Amount"]
df.iloc[idx] = pd.Series(data)
df["MonthPercent"] = df["MonthPercent"].apply(lambda x: format(x, '.2%'))
print(df)
输出：
Category Amount Month
0 A 10 2021-09
1 B 20 2021-09
2 C 30 2021-09
3 A 15 2021-10
4 B 25 2021-10
5 C 35 2021-10
------------
Amount
Month
2021-09 60
2021-10 75
------------
Category Amount MonthTotal MonthPercent Month
0 A 10 60 16.67% 2021-09
1 B 20 60 33.33% 2021-09
2 C 30 60 50.00% 2021-09
3 A 15 75 20.00% 2021-10
4 B 25 75 33.33% 2021-10
5 C 35 75 46.67% 2021-10
除了分组求和，当然还能求平均值，以及分组计算count
import pandas as pd
df = pd.read_excel("./data/test.xlsx")
print(df)
print("------------")
category_amount_avg = df.groupby("Category").mean()
print(category_amount_avg)
print("------------")
category_count = df.groupby("Month").count()
print(category_count)
输出：
Category Amount Month
0 A 10 2021-09
1 B 20 2021-09
2 C 30 2021-09
3 A 15 2021-10
4 B 25 2021-10
5 C 35 2021-10
------------
Amount
Category
A 12.5
B 22.5
C 32.5
------------
Category Amount
Month
2021-09 3 3
2021-10 3 3
三、sort排序
还是这张表，如果希望按Amount降序排列，可以这样：
import pandas as pd
df = pd.read_excel("./data/test.xlsx")
print("-----before sort------")
print(df)
print("-----after sort------")
df.sort_values("Amount", inplace=True, ascending=False)
print(df)
输出：
-----before sort------ Category Amount Month 0 A 10 2021-09 1 B 20 2021-09 2 C 30 2021-09 3 A 15 2021-10 4 B 25 2021-10 5 C 35 2021-10 -----after sort------ Category Amount Month 5 C 35 2021-10 2 C 30 2021-09 4 B 25 2021-10 1 B 20 2021-09 3 A 15 2021-10 0 A 10 2021-09
如果需要多个字段排序 ，比如：先按Month升序，再按Amount降序
print("-----after sort------")
df.sort_values(by=["Month", "Amount"], ascending=[True, False], inplace=True)
print(df)
输出：
-----after sort------ Category Amount Month 2 C 30 2021-09 1 B 20 2021-09 0 A 10 2021-09 5 C 35 2021-10 4 B 25 2021-10 3 A 15 2021-10
四、行列转换
pandas有一个内置的transpose()方法，可以直接实现：
import pandas as pd
df = pd.read_excel("./data/test.xlsx", index_col="Category")
print("------行转列（前）----------")
print(df)
print("------行转列（后）----------")
print(df.transpose())
输出：
------行转列（前）----------
Amount Month
Category
A 10 2021-09
B 20 2021-09
C 30 2021-09
A 15 2021-10
B 25 2021-10
C 35 2021-10
------行转列（后）----------
Category A B C A B C
Amount 10 20 30 15 25 35
Month 2021-09 2021-09 2021-09 2021-10 2021-10 2021-10
不过这个转换功能有点简单，如果要实现一些个性化的行列转换，比如希望达到下面的效果：
2021-09 2021-10 Category A 10 15 B 20 25 C 30 35
就得自己写代码了，参考下面：
import pandas as pd
import matplotlib.pyplot as plt
df = pd.read_excel("./data/test.xlsx")
print("-------before-------")
df.set_index("Month", inplace=True)
print(df)
print("-------after-------")
# 先对Month求distinct
months = df.index.unique()
rows = []
for month in months:
# 遍历df
for idx, data in df.iterrows():
if idx == month:
# 生成新DataFrame中的每一行
row = pd.Series({"Category": data.Category, month: data.Amount})
found = 0
for d in rows:
# 如果该分类的行存在，则填充缺的月份列
if d.Category == data.Category:
found = 1
d[month] = data.Amount
# 如果该分类的行不存在，直接放入rows数列
if found == 0:
rows.append(row)
# 构造新的DataFrame
df_output = pd.DataFrame(rows)
df_output.set_index("Category", inplace=True)
print(df_output)
参考：
1、官网 pandas.DataFrame.join 文档
2、官网 pandas.DataFrame.groupby 文档