天天看點

pandas分析oracle資料,Pandas使用總結(二):資料篩選

pandas分析oracle資料,Pandas使用總結(二):資料篩選

總結pandas的資料篩選的操作,可類比于sql的select功能。

一、普通篩選

基礎檢視

df.head() # 前5行

df.tail() # 後5行

df.info() # 基本資訊(包括缺失值)

df.shape # 檢視次元

df.index # 行索引

df.columns # 列索引

df.dtypes # 資料類型

df.describe() # 統計資訊

選取單個元素

df['a'][0] # 第0行,'a'列

df.iloc[0, 2] # 第0行,第2列

df.loc[0, 'a'] # 第0行,'a'列

切片(多個元素)

df.iloc[1:, 1:2] # 行索引, 列索引(結果不包含2列)

df.loc[:, 'a':'b'] # 行名, 列名(結果會包含b列)

跳躍多選: lookup

# 傳回數組[Aa索引出的值, Bb索引出的值]

df.lookup(['A', 'B'], ['a', 'b'])

删除資料

# 删除對應列

df.drop(['A', 'B'], axis=1)

取該列數量最多的類别

df['A'].values_counts()#傳回該列各個類别的數量

df['A'].values_counts().nlargest(3)#取類别數量最多的三類資料

df[~df['A'].isin(df['A'].values_counts().nlargest(3).index)]#選取總資料中符合:A列各類别數量前三 的資料

檢視該列有那些值

df['A'].unique()#檢視該列值有哪些

按資料類型篩選

df.select_dtypes(include='number')#選取包含數字的列 (object:字元型)

df.select_dtypes(exclude='number')#選取不包含數字的列

二、邏輯篩選(where)

索引

# 索引邏輯篩選

df[df['A']*2 == df['C']]

df.query('A*2 == C') # 也可以`用query代替

isin(is in)

# 篩選條件:A列包含不包含空值的df

df[~df['A'].isin(np.nan, None)]

contains(contains)

# 篩選條件:A列包含oracle的df

df[df['A'].str.contains('oracle', case=False, na=False)] # 篩選條件:A列包含oracle的df

df[df['A'].str.contains('1', case=False)] # case:是否忽略大小寫

isnull() (is null)

# 篩選條件:非空

df[~df['A'].isnull()]

df[~df['A'].isin(np.nan, None)]

where (if)

# where(篩選出滿足條件的行, 不滿足傳回的值「預設是nan」)

df.where(df['A']/2 == 0.5, 12)

可以使用apply()實作sql的case when

三、随機抽樣

# 随機抽樣(n也可以用frac=0.3「随機抽取30%」)

df.sample(n=10, replace=False)

df1 = df.sample(frac=0.75, random_state=1234)#将75%的資料劃分給df1

df2 = df.drop(df1.index)#删除從df中df1剩下df2