pandas基础

list转化为series

data = [1,2,3,4,5,6]
array = np.array(data)
array_str = array.astype('str') #数据类型转换为字符串
print(array)      

series转化为list

ori_cent_date = pd.read_excel('/tmp/核心数据库.xlsx')      

ip_list = ori_cent_date.IP.tolist()      

创建Series

a = [1,2,3,4,5,6]
b = range(1,7)
a_series = pd.Series(a,index = ['A','B','C','D','E','F'])
b_series = pd.Series(b,index = ['A','B','C','D','E','F'])      

字典类型可以直接创建Series

# 字典可以直接创建Series

d = {
    'qinlu':'handsome',
    'lulu':'graceful'
}

s2 = pd.Series(d)
print(s2)

print('-----------------------')

# Series有自动对齐索引功能，NaN表示空，缺失
s3 = pd.Series(d,index=['qinlu','lulu','qinqin'])
print(s3)      

DataFrame也可以看做一个字典，只不过它的值为一个序列

# DataFrame也可以看做一个字典，只不过它的值为一个序列

import pandas as pd

dict = {
    'name':['张三','李四','王五','金锁'],
    'sex':['男','男','男','女'],
    'age':[18,19,20,18]
}

df = pd.DataFrame(dict)

print(df)
print(df.info())

# 转换数据类型astype

print(df.age.astype('str'))      

行和列操作

import pandas as pd

dict = {
    'name':['张三','李四','王五','金锁'],
    'sex':['男','男','男','女'],
    'age':[18,19,20,18]
}

df = pd.DataFrame(dict)

# 读取列

print(df['age'])
print(df['name'])
print(df[['name','age']])

# 读取行（切片）

print(df[0:3])

# 修改列的值

df['age'] = 18
# df.age = 18
print(df)

df['age'] = [18,19,20,19]
# df.age = [18,19,20,19]
print(df)

# 增加一列

df['country'] = 'chana'
print(df)

# 获取索引信息
print(df.index)      

数据筛选

import pandas as pd


dict = {
    'name':['张三','李四','王五','金锁'],
    'sex':['男','男','男','女'],
    'age':[18,19,20,18]
}

df = pd.DataFrame(dict)

# 切片
a = df[['age','sex']]
print(a)

# 筛选sex为男，
b = df[df.sex == '男']
print(b)

# 筛选年龄大于等于19
c = df[df.age >= 19]
print(c)

#筛选性别为女，年龄小于19
d = df[(df.sex == '女') & (df.age < 19)]
print(d)

能进行布尔判断

e = df.sex == '男'
print(e)

# 当逻辑条件复杂时，这种写法并不优雅，比如性别为男，且年龄在18岁，以及性别为女，且年龄在18岁以上的两类人群，这种过滤条件就比较复杂了。pandas中可以用query函数以类SQL语言执行查询。
f = df.query('(age == 19 and sex == "女") or (age >= 19 and sex == "男")')
print(f)

# 利用df.age直接运算
df.age = df.age + 1
print(df)      

 排序

import pandas as pd
file = '/Users/soymilk/微云同步助手(296672942)/OY/study_happy/python_pandas/pandas_excel/data/List.xlsx'
df = pd.read_excel(file,index_col='ID')
df = df.sort_values(by=['Worthy','Price'],ascending=[False,False]) # 按值进行排序
print(df)      

按照条件筛选

'''
筛选
'''
import pandas as pd

def b1830(a):
    return 18 <=a < 30
def b85(b):
    return 85 < b

file = '/tmp/Students.xlsx'
df = pd.read_excel(file,index_col='ID')
df = df.loc[df.Age.apply(b1830)].loc[df.Score.apply(b85)]
print(df)

'''
简化版
'''

# file = '/tmp/Students.xlsx'
# df = pd.read_excel(file,index_col='ID')
# df = df.loc[df.Age.apply(lambda a: 18<=a<30)].loc[df.Score.apply(lambda b: 85<b)]
# print(df)

'''
符合逻辑的版本
'''

# file = '/tmp/Students.xlsx'
# df = pd.read_excel(file,index_col='ID')
# df_filter = df[(18<=df.Age) & (df.Age<30) & (85<df.Score)]
# print(df_filter)      

 查看DataFrame属性，数据类型等

print(type(df))   # 查看df的类型
print(df.info())   # 有多少数据类型，整个DataFrame占多少字节
print(df.dtypes)  # 查看DataFrame各个列的数据类型      

深刻理解DataFrame 

import pandas as pd
import numpy as np

# 字典形式
data1 = {'地区':['中国','巴西'],'变电站-x':['变电站-A','变电站-B']}
df1 = pd.DataFrame(data1,index=['A','B'])
print(df1)
print('----------------')

# 序列形式
data2 = [['中国','变电站-A'],['巴西','变电站-B']]
df2 = pd.DataFrame(data2,index=['A','B'],columns=['地区','变电站-x'])
print(df2)      

 DataFrame修改列名，修改index

修改列名

#直接修改：缺点必须写明每一列，不然会报错
a.columns = ['A','B','C']
Out[4]:
   A  B  C
0  1  4  7
1  2  5  8
2  3  6  9

##推荐方法

#每个列名都修改
a.rename(columns={'a':'A', 'b':'B', 'c':'C'}, inplace = True)
Out[7]:
   A  B  C
0  1  4  7
1  2  5  8
2  3  6  9
#修改指定列名
a.rename(columns={'a':'A', 'c':'C'}, inplace = True)
Out[14]:
   A  b  C
0  1  4  7
1  2  5  8
2  3  6  9

修改index

a.set_index('A')      

 利用iloc选取列和行

# 选取第2列，选取第2-3列（1:3不包括3，即不包括第4列）

df = df[:,1]

df = df[:,1:3]

# 选取第2行，选取第2-3行（1:3不包括3，即不包括第4行）

df = df[1,:]

df = df[1:3,:]      

 删除包含某个字符串的行

# 通过取反获取不包含精准字符串“2000吨”的结果

df=df[~df['产量'].isin(["2000吨"])] 

# 通过取反获取不包含字符串“吨”的结果

df=df[~df['产量'].str.contains('吨')]      

 数据类型转换

# 数据类型转化成字符串
df['2016'] = df['2016'].astype('str')

# 数据类型转化为整型
df['2016'] = df['2016'].astype('int')

# 数据类型转化为浮点型
df['2016'] = df['2016'].astype('float')      

 删除列

# 删除列（需要赋值）
df = df.drop(columns=['产量','平均产量'])
# 直接删除
df.drop(columns=['产量','平均产量'],inplace=True)
# 直接删除（只能删除一列）
del df['产量']      

参考文章：

条件筛选数据：https://www.cnblogs.com/nxf-rabbit75/p/10105271.html