資料分析工具Pandas（4）：Pandas的函數應用

資料分析工具Pandas（1）：Pandas的資料結構

資料分析工具Pandas（2）：Pandas的索引操作

資料分析工具Pandas（3）：Pandas的對齊運算

資料分析工具Pandas（4）：Pandas的函數應用

Pandas的函數應用

apply 和 applymap

1. 可直接使用NumPy的函數

# Numpy ufunc 函數
df = pd.DataFrame(np.random.randn(5,4) - 1)
print(df)
 
print(np.abs(df))      

運作結果：

0         1         2         3
0 -0.062413  0.844813 -1.853721 -1.980717
1 -0.539628 -1.975173 -0.856597 -2.612406
2 -1.277081 -1.088457 -0.152189  0.530325
3 -1.356578 -1.996441  0.368822 -2.211478
4 -0.562777  0.518648 -2.007223  0.059411
 
          0         1         2         3
0  0.062413  0.844813  1.853721  1.980717
1  0.539628  1.975173  0.856597  2.612406
2  1.277081  1.088457  0.152189  0.530325
3  1.356578  1.996441  0.368822  2.211478
4  0.562777  0.518648  2.007223  0.059411      

2. 通過apply将函數應用到列或行上

# 使用apply應用行或列資料
#f = lambda x : x.max()
print(df.apply(lambda x : x.max()))      

0   -0.062413
1    0.844813
2    0.368822
3    0.530325
dtype: float64      

注意指定軸的方向，預設axis=0，方向是列

# 指定軸方向，axis=1，方向是行
print(df.apply(lambda x : x.max(), axis=1))      

0    0.844813
1   -0.539628
2    0.530325
3    0.368822
4    0.518648
dtype: float64      

3. 通過applymap将函數應用到每個資料上

# 使用applymap應用到每個資料
f2 = lambda x : '%.2f' % x
print(df.applymap(f2))      

0      1      2      3
0  -0.06   0.84  -1.85  -1.98
1  -0.54  -1.98  -0.86  -2.61
2  -1.28  -1.09  -0.15   0.53
3  -1.36  -2.00   0.37  -2.21
4  -0.56   0.52  -2.01   0.06      

排序

1. 索引排序

sort_index()

排序預設使用升序排序，ascending=False 為降序排序

# Series
s4 = pd.Series(range(10, 15), index = np.random.randint(5, size=5))
print(s4)
 
# 索引排序
s4.sort_index() # 0 0 1 3 3      

0    10
3    11
1    12
3    13
0    14
dtype: int64
 
0    10
0    14
1    12
3    11
3    13
dtype: int64      

對DataFrame操作時注意軸方向

# DataFrame
df4 = pd.DataFrame(np.random.randn(3, 5), 
                   index=np.random.randint(3, size=3),
                   columns=np.random.randint(5, size=5))
print(df4)
 
df4_isort = df4.sort_index(axis=1, ascending=False)
print(df4_isort) # 4 2 1 1 0      

1         4         0         1         2
2 -0.416686 -0.161256  0.088802 -0.004294  1.164138
1 -0.671914  0.531256  0.303222 -0.509493 -0.342573
1  1.988321 -0.466987  2.787891 -1.105912  0.889082
 
          4         2         1         1         0
2 -0.161256  1.164138 -0.416686 -0.004294  0.088802
1  0.531256 -0.342573 -0.671914 -0.509493  0.303222
1 -0.466987  0.889082  1.988321 -1.105912  2.787891      

2. 按值排序

sort_values(by='column name')

根據某個唯一的列名進行排序，如果有其他相同列名則報錯。      

1         4         0         1         2
1  1.988321 -0.466987  2.787891 -1.105912  0.889082
1 -0.671914  0.531256  0.303222 -0.509493 -0.342573
2 -0.416686 -0.161256  0.088802 -0.004294  1.164138      

處理缺失資料處理缺失資料

df_data = pd.DataFrame([np.random.randn(3), [1., 2., np.nan],
                       [np.nan, 4., np.nan], [1., 2., 3.]])
print(df_data.head())      

0         1         2
0 -0.281885 -0.786572  0.487126
1  1.000000  2.000000       NaN
2       NaN  4.000000       NaN
3  1.000000  2.000000  3.000000      

1. 判斷是否存在缺失值：isnull()

# isnull
print(df_data.isnull())      

0      1      2
0  False  False  False
1  False  False   True
2   True  False   True
3  False  False  False      

2. 丢棄缺失資料：dropna()

根據axis軸方向，丢棄包含NaN的行或列。 示例代碼：

# dropna
print(df_data.dropna())
 
print(df_data.dropna(axis=1))      

0         1         2
0 -0.281885 -0.786572  0.487126
3  1.000000  2.000000  3.000000
 
          1
0 -0.786572
1  2.000000
2  4.000000
3  2.000000      

3. 填充缺失資料：fillna()

# fillna
print(df_data.fillna(-100.))      

0         1           2
0   -0.281885 -0.786572    0.487126
1    1.000000  2.000000 -100.000000
2 -100.000000  4.000000 -100.000000
3    1.000000  2.000000    3.000000