python大資料工作流程

本文作者：hhh5460

大資料分析，記憶體不夠用怎麼辦？

當然，你可以更新你的電腦為超級電腦。

另外，你也可以采用硬碟操作。

本文示範了硬碟操作的一種可能的方式。

本文基于：win10(64) + py3.5

本人電腦組態：4G記憶體

說明：

資料大小：5.6G

資料描述：自2010年以來，紐約的311投訴

資料下載下傳：https://data.cityofnewyork.us/api/views/erm2-nwe9/rows.csv?accessType=DOWNLOAD

附：

運作過程中出現了一個錯誤

把上面的：

改為：

 關于min_itemsize詳情，見：http://pandas.pydata.org/pandas-docs/stable/io.html#storing-types

參考：

https://plot.ly/python/big-data-analytics-with-pandas-and-sqlite/

http://stackoverflow.com/questions/14262433/large-data-work-flows-using-pandas

http://python.jobbole.com/84118/