天天看點

Pandas的資料結構1 Pandas介紹2 為什麼使用Pandas3 Pandas的資料結構4 小結

1 Pandas介紹

  • 2008年WesMcKinney開發出的庫
  • 專門用于資料挖掘的開源python庫
  • 以Numpy為基礎,借力Numpy子產品在計算方面性能高的優勢
  • 基于matplotlib,能夠簡便的畫圖
  • 獨特的資料結構

2 為什麼使用Pandas

便捷的資料處理能力

對于資料的處理,如果沒有pandas,那麼可能python就在資料挖掘/機器學習領域領域落後于R

那麼在說大資料可能我們可能會聽過Hadoop和Spark,它們有的是基于叢集的雲端處理資料,如果資料隻有幾GB,甚至1~2TB,那麼pandas也是處理資料的最好選擇

回憶我們在numpy當中建立的股票漲跌幅資料形式?

# 建立一個符合正太分布的500個股票504天的漲跌幅資料
stock_day_rise = np.random.normal(0, 1, (500, 504))
array([[-1.47580291, -1.6171524 , -0.3065993 , ...,  0.33796194,
        -0.08529695,  0.4951836 ],
       [-0.15815135, -0.49150059, -0.90192837, ..., -0.58003107,
         0.06213526, -0.48994794],
       [ 0.09761985, -0.30173525, -2.01897218, ..., -1.34711536,
        -1.15597236, -0.6623075 ],
       ...,
       [-0.43274532, -1.01644526,  0.16935745, ..., -0.40709199,
         0.23301604, -0.43792918],
       [-0.57734276,  2.30413166,  1.29008026, ..., -0.54980277,
        -1.00555547,  1.79315772],
       [-1.47725321,  0.1392723 , -0.09880384, ...,  0.57230664,
        -0.75429618, -0.4396632 ]])
           

但是這樣的資料形式很難看到存儲的是什麼的樣的資料,并也很難擷取相應的資料,比如需要擷取某個指定股票的資料,就很難去擷取!!

3 Pandas的資料結構

3.1 三大結構

Pandas有三大資料結構,Series、DataFrame以及Panel。

  • Series(一維資料)
  • DataFrame(二維資料)
  • Panel(三維結構資料/面闆資料)
注釋:對于Panel,會很少使用,通常會使用MultiIndex這種結構解決三維資料表示問題

3.2 處理股票資料

# 使用Pandas中的資料結構
stock_day_rise = pd.DataFrame(stock_day_rise)
           
Pandas的資料結構1 Pandas介紹2 為什麼使用Pandas3 Pandas的資料結構4 小結

3.3 初識DataFrame

DataFrame對象既有行索引,又有列索引

  • 行索引,表明不同行,橫向索引,叫index,0軸,axis=0
  • 列索引,表名不同列,縱向索引,叫columns,1軸,axis=1
Pandas的資料結構1 Pandas介紹2 為什麼使用Pandas3 Pandas的資料結構4 小結

3.4 給股票漲跌幅資料增加行列索引

效果:

Pandas的資料結構1 Pandas介紹2 為什麼使用Pandas3 Pandas的資料結構4 小結
  • 增加行索引
#構造行索引索引序列
stock_code = ['股票' + str(i) for i in range(stock_day_rise.shape[0])]

# 添加行索引
data = pd.DataFrame(stock_day_rise, index=stock_code)
           
  • 增加列索引

股票的日期是一個時間的序列,我們要實作從前往後的時間還要考慮每月的總天數等,不友善。

  • 使用pd.date_range():用于生成一組連續的時間序列
date_range(start=None,end=None, periods=None, freq='B')
    start:開始時間
    end:結束時間
    periods:時間天數
    freq:遞進機關,預設1天,'B'預設略過周末
           
# 生成一個時間的序列,略過周末非交易日
date = pd.date_range('2017-01-01', periods=stock_day_rise.shape[1], freq='B')

# index代表行索引,columns代表列索引
data = pd.DataFrame(stock_day_rise, index=stock_index, columns=date)
           

3.5 DatatFrame的屬性

常用屬性:

  • dtypes
data.dtypes

股票0      float64
股票1      float64
股票2      float64
股票3      float64
股票4      float64
Length: 5, dtype: object
           
  • ndim
data.ndim

2
           
  • shape:擷取DataFrame的行列數
data.shape
# 結果
(10, 5)
           
  • index:DataFrame的行索引清單
data.index

Index(['股票0', '股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9'], dtype='object')
           
  • columns:DataFrame的列索引清單
data.columns

DatetimeIndex(['2017-01-02', '2017-01-03', '2017-01-04', '2017-01-05',
               '2017-01-06'],
              dtype='datetime64[ns]', freq='B')
           
  • values:直接擷取其中array的值
data.values

array([[-0.06544031, -1.30931491, -1.45451514,  0.57973008,  1.48602405],
       [-1.73216741, -0.83413717,  0.45861517, -0.80391793, -0.46878575],
       [ 0.21805567,  0.19901371,  0.7134683 ,  0.5484263 ,  0.38623412],
       [-0.42207879, -0.33702398,  0.42328531, -1.23079202,  1.32843773],
       [-1.72530711,  0.07591832, -1.91708358, -0.16535818,  1.07645091],
       [-0.81576845, -0.28675278,  1.20441981,  0.73365951, -0.06214496],
       [-0.98820861, -1.01815231, -0.95417342, -0.81538991,  0.50268175],
       [-0.10034128,  0.61196204, -0.06850331,  0.74738433,  0.143011  ],
       [ 1.00026175,  0.34241958, -2.2529711 ,  0.93921064,  1.14080312],
       [ 2.52064693,  1.55384756,  1.72252984,  0.61270132,  0.60888092]])
           
  • T:轉置
data.T
           

傳回結果:

Pandas的資料結構1 Pandas介紹2 為什麼使用Pandas3 Pandas的資料結構4 小結

還有一些友善整體查詢的屬性:

  • head(5)
  • tail(5)

3.5 DatatFrame索引的設定

  • 修改行列索引值
# 修改行列索引值
data.index[499] = "0000001.SH" # 無法修改

# 通過整體修改,不能單個指派
data.index = ["股票_" + str(i) for i in range(stock_day_rise.shape[0])]
           
  • 重設索引(drop:預設為False,不删除原來索引,如果為True,删除原來的索引值)
# 重置索引
data.reset_index(drop=True)
           
  • 以某列值設定為新的索引 
df = pd.DataFrame({'month':[1,4,7,10], 'year':[1, 1, 2, 2], 'sale':[55, 40, 84, 31]})
# df.set_index(['month'])# 設定新的索引值,但是傳回一個新的dataframe
df = df.set_index(['month'])
# 設定多重索引 MultiIndex的結構
df.set_index(['year', df.index])

# 列印df的索引
df.index
           

 設定新索引的案例

  • 建立
df = pd.DataFrame({'month': [1, 4, 7, 10],
                    'year': [2012, 2014, 2013, 2014],
                    'sale':[55, 40, 84, 31]})

   month  sale  year
0  1      55    2012
1  4      40    2014
2  7      84    2013
3  10     31    2014
           
  • 以月份設定新的索引
df.set_index('month')
       sale  year
month
1      55    2012
4      40    2014
7      84    2013
10     31    2014
           
  • 設定多個索引,以年和月份
df = df.set_index(['year', 'month'])
            sale
year  month
2012  1     55
2014  4     40
2013  7     84
2014  10    31
           
  • 檢視索引 
df.index

MultiIndex(levels=[[2012, 2013, 2014], [1, 4, 7, 10]],
           labels=[[0, 2, 1, 2], [0, 1, 2, 3]],
           names=['year', 'month'])
           
注:通過剛才的設定,這樣DataFrame就變成了一個具有MutiIndex的DataFrame。 

3.6 Series結構

什麼是Series結構呢,我們直接看下面的圖:

Pandas的資料結構1 Pandas介紹2 為什麼使用Pandas3 Pandas的資料結構4 小結
  • series結構隻有行索引

我們将之前的漲跌幅資料進行轉置,然後擷取'股票0'的所有資料

# series
type(data['股票0'])

# 這一步相當于是series去擷取行索引的值
data['股票0']['2017-01-02']
           

3.7 建立series

通過已有資料建立

  • 指定内容,預設索引
pd.Series(np.arange(10))

0    0
1    1
2    2
3    3
4    4
5    5
6    6
7    7
8    8
9    9
dtype: int32
           
  • 指定索引
b = pd.Series([6.7, 5.6, 3, 10, 2], index=["a", "b", "c", "d", "e"])

a     6.7
b     5.6
c     3.0
d    10.0
e     2.0
dtype: float64
           

通過字典資料建立

c = pd.Series({'red': 100, 'blue': 200, 'green': 500, 'yellow': 1000})

blue       200
green      500
red        100
yellow    1000
dtype: int64
           

3.8 series擷取屬性和值

  • index
c.index

Index(['blue', 'green', 'red', 'yellow'], dtype='object')
           
  • values
c.values

[ 200  500  100 1000]
           

4 小結

pandas的三種資料結構
  • 系列(Series) 資料幀(DataFrame) 面闆(Panel) 
dataframe和series的差別與聯系
  • 差別:

series,隻是一個一維資料結構,它由index和value組成。

dataframe,是一個二維結構,除了擁有index和value之外,還擁有column。

  • 聯系:
dataframe由多個series組成,無論是行還是列,單獨拆分出來都是一個series。

繼續閱讀