pandas.read_csv()中有一個參數chunksize是控制分塊讀取的。
比如:df=pandas.read_csv(file,chunksize=1000)就是将檔案按1000行1000的來讀。讀取的結果是一個可疊代對象。
是以,我們通過下面的一個函數先分塊讀取,最後合并資料,進而讀取所有的資料:
def get_df(file):
mylist = []
for chunk in pd.read_csv(file, chunksize=1000):
mylist.append(chunk)
temp_df = pd.concat(mylist, axis= 0)
del mylist
return temp_df
df=get_df(file)就可以讀取file所有的資料了