1 Pandas介紹
- 2008年WesMcKinney開發出的庫
- 專門用于資料挖掘的開源python庫
- 以Numpy為基礎，借力Numpy子產品在計算方面性能高的優勢
- 基于matplotlib，能夠簡便的畫圖
- 獨特的資料結構
2 為什麼使用Pandas
便捷的資料處理能力
對于資料的處理，如果沒有pandas，那麼可能python就在資料挖掘/機器學習領域領域落後于R
那麼在說大資料可能我們可能會聽過Hadoop和Spark，它們有的是基于叢集的雲端處理資料，如果資料隻有幾GB，甚至1~2TB，那麼pandas也是處理資料的最好選擇
回憶我們在numpy當中建立的股票漲跌幅資料形式？
# 建立一個符合正太分布的500個股票504天的漲跌幅資料
stock_day_rise = np.random.normal(0, 1, (500, 504))
array([[-1.47580291, -1.6171524 , -0.3065993 , ..., 0.33796194,
-0.08529695, 0.4951836 ],
[-0.15815135, -0.49150059, -0.90192837, ..., -0.58003107,
0.06213526, -0.48994794],
[ 0.09761985, -0.30173525, -2.01897218, ..., -1.34711536,
-1.15597236, -0.6623075 ],
...,
[-0.43274532, -1.01644526, 0.16935745, ..., -0.40709199,
0.23301604, -0.43792918],
[-0.57734276, 2.30413166, 1.29008026, ..., -0.54980277,
-1.00555547, 1.79315772],
[-1.47725321, 0.1392723 , -0.09880384, ..., 0.57230664,
-0.75429618, -0.4396632 ]])
但是這樣的資料形式很難看到存儲的是什麼的樣的資料，并也很難擷取相應的資料，比如需要擷取某個指定股票的資料，就很難去擷取！！
3 Pandas的資料結構
3.1 三大結構
Pandas有三大資料結構，Series、DataFrame以及Panel。
- Series(一維資料)
- DataFrame(二維資料)
- Panel(三維結構資料/面闆資料)
注釋：對于Panel，會很少使用，通常會使用MultiIndex這種結構解決三維資料表示問題
3.2 處理股票資料
# 使用Pandas中的資料結構
stock_day_rise = pd.DataFrame(stock_day_rise)
3.3 初識DataFrame
DataFrame對象既有行索引，又有列索引
- 行索引，表明不同行，橫向索引，叫index，0軸，axis=0
- 列索引，表名不同列，縱向索引，叫columns，1軸，axis=1
3.4 給股票漲跌幅資料增加行列索引
效果：
- 增加行索引
#構造行索引索引序列
stock_code = ['股票' + str(i) for i in range(stock_day_rise.shape[0])]
# 添加行索引
data = pd.DataFrame(stock_day_rise, index=stock_code)
- 增加列索引
股票的日期是一個時間的序列，我們要實作從前往後的時間還要考慮每月的總天數等，不友善。
- 使用pd.date_range()：用于生成一組連續的時間序列
date_range(start=None,end=None, periods=None, freq='B')
start:開始時間
end:結束時間
periods:時間天數
freq:遞進機關，預設1天,'B'預設略過周末
# 生成一個時間的序列，略過周末非交易日
date = pd.date_range('2017-01-01', periods=stock_day_rise.shape[1], freq='B')
# index代表行索引，columns代表列索引
data = pd.DataFrame(stock_day_rise, index=stock_index, columns=date)
3.5 DatatFrame的屬性
常用屬性：
- dtypes
data.dtypes
股票0 float64
股票1 float64
股票2 float64
股票3 float64
股票4 float64
Length: 5, dtype: object
- ndim
data.ndim
2
- shape：擷取DataFrame的行列數
data.shape
# 結果
(10, 5)
- index：DataFrame的行索引清單
data.index
Index(['股票0', '股票1', '股票2', '股票3', '股票4', '股票5', '股票6', '股票7', '股票8', '股票9'], dtype='object')
- columns：DataFrame的列索引清單
data.columns
DatetimeIndex(['2017-01-02', '2017-01-03', '2017-01-04', '2017-01-05',
'2017-01-06'],
dtype='datetime64[ns]', freq='B')
- values：直接擷取其中array的值
data.values
array([[-0.06544031, -1.30931491, -1.45451514, 0.57973008, 1.48602405],
[-1.73216741, -0.83413717, 0.45861517, -0.80391793, -0.46878575],
[ 0.21805567, 0.19901371, 0.7134683 , 0.5484263 , 0.38623412],
[-0.42207879, -0.33702398, 0.42328531, -1.23079202, 1.32843773],
[-1.72530711, 0.07591832, -1.91708358, -0.16535818, 1.07645091],
[-0.81576845, -0.28675278, 1.20441981, 0.73365951, -0.06214496],
[-0.98820861, -1.01815231, -0.95417342, -0.81538991, 0.50268175],
[-0.10034128, 0.61196204, -0.06850331, 0.74738433, 0.143011 ],
[ 1.00026175, 0.34241958, -2.2529711 , 0.93921064, 1.14080312],
[ 2.52064693, 1.55384756, 1.72252984, 0.61270132, 0.60888092]])
- T：轉置
data.T
傳回結果：
還有一些友善整體查詢的屬性：
- head(5)
- tail(5)
3.5 DatatFrame索引的設定
- 修改行列索引值
# 修改行列索引值
data.index[499] = "0000001.SH" # 無法修改
# 通過整體修改，不能單個指派
data.index = ["股票_" + str(i) for i in range(stock_day_rise.shape[0])]
- 重設索引（drop：預設為False，不删除原來索引，如果為True，删除原來的索引值）
# 重置索引
data.reset_index(drop=True)
- 以某列值設定為新的索引
df = pd.DataFrame({'month':[1,4,7,10], 'year':[1, 1, 2, 2], 'sale':[55, 40, 84, 31]})
# df.set_index(['month'])# 設定新的索引值，但是傳回一個新的dataframe
df = df.set_index(['month'])
# 設定多重索引 MultiIndex的結構
df.set_index(['year', df.index])
# 列印df的索引
df.index
設定新索引的案例
- 建立
df = pd.DataFrame({'month': [1, 4, 7, 10],
'year': [2012, 2014, 2013, 2014],
'sale':[55, 40, 84, 31]})
month sale year
0 1 55 2012
1 4 40 2014
2 7 84 2013
3 10 31 2014
- 以月份設定新的索引
df.set_index('month')
sale year
month
1 55 2012
4 40 2014
7 84 2013
10 31 2014
- 設定多個索引，以年和月份
df = df.set_index(['year', 'month'])
sale
year month
2012 1 55
2014 4 40
2013 7 84
2014 10 31
- 檢視索引
df.index
MultiIndex(levels=[[2012, 2013, 2014], [1, 4, 7, 10]],
labels=[[0, 2, 1, 2], [0, 1, 2, 3]],
names=['year', 'month'])
注：通過剛才的設定，這樣DataFrame就變成了一個具有MutiIndex的DataFrame。
3.6 Series結構
什麼是Series結構呢，我們直接看下面的圖：
- series結構隻有行索引
我們将之前的漲跌幅資料進行轉置，然後擷取'股票0'的所有資料
# series
type(data['股票0'])
# 這一步相當于是series去擷取行索引的值
data['股票0']['2017-01-02']
3.7 建立series
通過已有資料建立
- 指定内容，預設索引
pd.Series(np.arange(10))
0 0
1 1
2 2
3 3
4 4
5 5
6 6
7 7
8 8
9 9
dtype: int32
- 指定索引
b = pd.Series([6.7, 5.6, 3, 10, 2], index=["a", "b", "c", "d", "e"])
a 6.7
b 5.6
c 3.0
d 10.0
e 2.0
dtype: float64
通過字典資料建立
c = pd.Series({'red': 100, 'blue': 200, 'green': 500, 'yellow': 1000})
blue 200
green 500
red 100
yellow 1000
dtype: int64
3.8 series擷取屬性和值
- index
c.index
Index(['blue', 'green', 'red', 'yellow'], dtype='object')
- values
c.values
[ 200 500 100 1000]
4 小結
pandas的三種資料結構dataframe和series的差別與聯系
- 系列(Series) 資料幀(DataFrame) 面闆(Panel)
- 差別：
series，隻是一個一維資料結構，它由index和value組成。
dataframe，是一個二維結構，除了擁有index和value之外，還擁有column。
dataframe由多個series組成，無論是行還是列，單獨拆分出來都是一個series。
- 聯系：