天天看點

電腦組態太低,pandas.read_csv無法讀取大檔案

pandas.read_csv()中有一個參數chunksize是控制分塊讀取的。

比如:df=pandas.read_csv(file,chunksize=1000)就是将檔案按1000行1000的來讀。讀取的結果是一個可疊代對象。

是以,我們通過下面的一個函數先分塊讀取,最後合并資料,進而讀取所有的資料:

def get_df(file):

mylist = []

for chunk in pd.read_csv(file, chunksize=1000):

mylist.append(chunk)

temp_df = pd.concat(mylist, axis= 0)

del mylist

return temp_df

df=get_df(file)就可以讀取file所有的資料了

繼續閱讀