
總結pandas的資料篩選的操作,可類比于sql的select功能。
一、普通篩選
基礎檢視
df.head() # 前5行
df.tail() # 後5行
df.info() # 基本資訊(包括缺失值)
df.shape # 檢視次元
df.index # 行索引
df.columns # 列索引
df.dtypes # 資料類型
df.describe() # 統計資訊
選取單個元素
df['a'][0] # 第0行,'a'列
df.iloc[0, 2] # 第0行,第2列
df.loc[0, 'a'] # 第0行,'a'列
切片(多個元素)
df.iloc[1:, 1:2] # 行索引, 列索引(結果不包含2列)
df.loc[:, 'a':'b'] # 行名, 列名(結果會包含b列)
跳躍多選: lookup
# 傳回數組[Aa索引出的值, Bb索引出的值]
df.lookup(['A', 'B'], ['a', 'b'])
删除資料
# 删除對應列
df.drop(['A', 'B'], axis=1)
取該列數量最多的類别
df['A'].values_counts()#傳回該列各個類别的數量
df['A'].values_counts().nlargest(3)#取類别數量最多的三類資料
df[~df['A'].isin(df['A'].values_counts().nlargest(3).index)]#選取總資料中符合:A列各類别數量前三 的資料
檢視該列有那些值
df['A'].unique()#檢視該列值有哪些
按資料類型篩選
df.select_dtypes(include='number')#選取包含數字的列 (object:字元型)
df.select_dtypes(exclude='number')#選取不包含數字的列
二、邏輯篩選(where)
索引
# 索引邏輯篩選
df[df['A']*2 == df['C']]
df.query('A*2 == C') # 也可以`用query代替
isin(is in)
# 篩選條件:A列包含不包含空值的df
df[~df['A'].isin(np.nan, None)]
contains(contains)
# 篩選條件:A列包含oracle的df
df[df['A'].str.contains('oracle', case=False, na=False)] # 篩選條件:A列包含oracle的df
df[df['A'].str.contains('1', case=False)] # case:是否忽略大小寫
isnull() (is null)
# 篩選條件:非空
df[~df['A'].isnull()]
df[~df['A'].isin(np.nan, None)]
where (if)
# where(篩選出滿足條件的行, 不滿足傳回的值「預設是nan」)
df.where(df['A']/2 == 0.5, 12)
可以使用apply()實作sql的case when
三、随機抽樣
# 随機抽樣(n也可以用frac=0.3「随機抽取30%」)
df.sample(n=10, replace=False)
df1 = df.sample(frac=0.75, random_state=1234)#将75%的資料劃分給df1
df2 = df.drop(df1.index)#删除從df中df1剩下df2