1.pandas-資料處理庫
numpy-關于矩陣運算庫
pandas核心結構DataFramde
DataFrame是一種表格型資料結構,它含有一組有序的列,每列可以是不同的值。
DataFrame既有行索引,也有列索引,它可以看作是由Series組成的字典,不過這些Series公用一個索引。
DataFrame的建立有多種方式,不過最重要的還是根據dict進行建立,以及讀取csv或者txt檔案來建立。這裡主要介紹這兩種方式。
1.1.read_csv函數
讀取資料,進行指定檔案名的相當路徑
使用技巧 變量名= pandas.read_csv(“檔案名稱”)
help(pandas.read_csv)
//打開關于.read_csv幫助文檔
1.2DataFramde的應用
import pandas
food_info=pandas.read_csv("food_info.csv")
print (typed(food_info))
print (food_info,dtypes)
#dtypes--列印資料結構類型
1.3.head與.tail函數
food_info.head()
#.head顯示資料(針對大資料處理模式預設顯示前5條資料)
food_info.head(3)
#.head顯示資料(針對大資料處理模式顯示前3條資料)
food_info.tail()
#.tail顯示資料(針對大資料處理模式預設顯示末5條資料)
1.4.columns函數
food_info.columns()
#列印資料比較點
1.5.shape函數
food_info.shape
#列印資料數量(numpy中shapde用法相同)
#例列印輸出(1286,32)指本組資料有1286個樣本和32個資料比較點
2.DataFramde介紹(轉載)
DataFrame 類型類似于資料庫表結構的資料結構,其含有行索引和列索引,可以将DataFrame 想成是由相同索引的Series組成的Dict類型。在其底層是通過二維以及一維的資料塊實作。
2.1 用包含等長的清單或者是NumPy數組的字典建立DataFrame對象
In [68]: import pandas as pd
In [69]: from pandas import Series,DataFrame
# 建立包含等長清單的字典類型
In [70]: data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],'year': [2000, 2001, 20
...: 02, 2001, 2002],'pop': [1.5, 1.7, 3.6, 2.4, 2.9]}
In [71]: data
Out[71]:
{'pop': [1.5, 1.7, 3.6, 2.4, 2.9],
'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002]}
# 建立DataFrame對象
In [72]: frame1 = DataFrame(data)
# 紅色部分為自動生成的索引
In [73]: frame1
Out[73]:
pop state year
1.5Ohio 2000
1.7Ohio 2001
3.6Ohio 2002
2.4 Nevada 2001
2.9 Nevada 2002
在建立過程中可以指點列的順序:
In [74]: frame1 = DataFrame(data,columns=['year', 'state', 'pop'])
In [75]: frame1
Out[75]:
year state pop
2000Ohio 1.5
2001Ohio 1.7
2002Ohio 3.6
2001 Nevada 2.4
2002 Nevada 2.9
和Series一樣,DataFrame也是可以指定索引内容:
In [76]: ind = ['one', 'two', 'three', 'four', 'five']
In [77]: frame1 = DataFrame(data,index = ind)
In [78]: frame1
Out[78]:
pop state year
one1.5Ohio 2000
two1.7Ohio 2001
three 3.6Ohio 2002
four 2.4 Nevada 2001
five 2.9 Nevada 2002
2.2用由字典類型組成的嵌套字典類型來生成DataFrame對象
當由嵌套的字典類型生成DataFrame的時候,外部的字典索引會成為列名,内部的字典索引會成為行名。生成的DataFrame會根據行索引排序
In [84]: pop = {'Nevada': {2001: 2.4, 2002: 2.9},'Ohio': {2000: 1.5, 2001: 1.7, 2002: 3.6}}
In [85]: frame3 = DataFrame(pop)
In [86]: frame3
Out[86]:
Nevada Ohio
NaN 1.5
2.4 1.7
2.9 3.6
除了使用預設的按照行索引排序之外,還可以指定行序列:
In [95]: frame3 = DataFrame(pop,[2002,2001,2000])
In [96]: frame3
Out[96]:
Nevada Ohio
2.9 3.6
2.4 1.7
NaN 1.5
2.3DataFrame 内容通路
從DataFrame中擷取一列的結果為一個Series,可以通過以下兩種方式擷取:
# 以字典索引方式擷取
In [100]: frame1["state"]
Out[100]:
oneOhio
twoOhio
three Ohio
four Nevada
five Nevada
Name: state, dtype: object
# 以屬性方式擷取
In [101]: frame1.state
Out[101]:
oneOhio
twoOhio
three Ohio
four Nevada
five Nevada
Name: state, dtype: object
也可以通過ix擷取一行資料:
In [109]: frame1.ix["one"] # 或者是 frame1.ix[0]
Out[109]:
pop 1.5
stateOhio
year 2000
Name: one, dtype: object
# 擷取多行資料
In [110]: frame1.ix[["tow","three","four"]]
Out[110]:
pop stateyear
towNaN NaN NaN
three 3.6Ohio 2002.0
four 2.4 Nevada 2001.0
# 還可以通過預設數字行索引來擷取資料
In [111]: frame1.ix[range(3)]
Out[111]:
pop state year
one1.5 Ohio 2000
two1.7 Ohio 2001
three 3.6 Ohio 2002
擷取指定行,指定列的交彙值:
In [119]: frame1["state"]
Out[119]:
oneOhio
twoOhio
three Ohio
four Nevada
five Nevada
Name: state, dtype: object
In [120]: frame1["state"][0]
Out[120]: 'Ohio'
In [121]: frame1["state"]["one"]
Out[121]: 'Ohio'
先指定列再指定行:
In [125]: frame1.ix[0]
Out[125]:
pop 1.5
stateOhio
year 2000
Name: one, dtype: object
In [126]: frame1.ix[0]["state"]
Out[126]: 'Ohio'
In [127]: frame1.ix["one"]["state"]
Out[127]: 'Ohio'
In [128]: frame1.ix["one"][0]
Out[128]: 1.5
In [129]: frame1.ix[0][0]
Out[129]: 1.53.
2.4DataFrame 對象的修改
增加一列,并所有指派為同一個值:
# 增加一列值
In [131]: frame1["debt"] = 10
In [132]: frame1
Out[132]:
pop state year debt
one1.5Ohio 200010
two1.7Ohio 200110
three 3.6Ohio 200210
four 2.4 Nevada 200110
five 2.9 Nevada 200210
# 更改一列的值
In [133]: frame1["debt"] = np.arange(5)
In [134]: frame1
Out[134]:
pop state year debt
one1.5Ohio 2000 0
two1.7Ohio 2001 1
three 3.6Ohio 2002 2
four 2.4 Nevada 2001 3
five 2.9 Nevada 2002 4
追加類型為Series的一列
# 判斷是否為東部區
In [137]: east = (frame1.state == "Ohio")
In [138]: east
Out[138]:
one True
two True
three True
four False
five False
Name: state, dtype: bool
# 賦Series值
In [139]: frame1["east"] = east
In [140]: frame1
Out[140]:
pop state year debt east
one1.5Ohio 2000 0 True
two1.7Ohio 2001 1 True
three 3.6Ohio 2002 2 True
four 2.4 Nevada 2001 3 False
five 2.9 Nevada 2002 4 False
DataFrame 的行可以命名,同時多列也可以命名:
In [145]: frame3.columns.name = "state"
In [146]: frame3.index.name = "year"
In [147]: frame3
Out[147]:
state Nevada Ohio
year
2.9 3.6
2.4 1.7
NaN 1.5
2.DataFramde介紹篇轉載原文連結:https://www.cnblogs.com/linux-wangkun/p/5903945.html
----------未完待續(2018-11-21 22:26:23)