想要分析的時候,沒有資料,就是巧婦難為無米之炊。以前想找一個資料需要費盡心思在網上去搜,最終還找不到自己想要的資料。通過程式設計爬蟲資料,學習成本又太高,畢竟你的目标不是想要成為爬蟲工程師,隻是想要拿到資料來分析。那有沒有傻瓜式的擷取資料方法呢?
下面介紹4種擷取資料的方法,選擇一種适合你自己的方法就可以。
方法一:直接擷取10大行業免費資料
![](https://img.laitimes.com/img/__Qf2AjLwojIjJCLyojI0JCLicGcq5iYhlDMihDO0ImM1EmYwUGOhFTZ0QzYwcDO5ETZzATO48CX5d2bs92Yl1iclB3bsVmdlR2LcNWaw9CXt92Yu4GZjlGbh5yYjV3Lc9CX6MHc0RHaiojIsJye.jpg)
1)如何選擇行業?
不知道如何選擇行業的,可以在下面網站裡看到各個行業的分析報告:
如何選擇入職行業 :
https://www.zhihu.com/question/24995484/answer/516813008艾瑞研究-艾瑞網(行業報告):
http://report.iresearch.cnTalkingdata報告(行業報告):
http://mi.talkingdata.com199IT網際網路資料中心(行業報告,内容多,支援搜尋):
http://www.199it.com2)10大行業免費資料彙總
【優點】直接拿來使用
【缺點】資料有限
根據你确定的行業,選擇一個自己感興趣的資料。比如你确定了電商行業,然後就找一個電商行業的資料。
在《資料分析思維》中彙聚了10多個行業的資料以及分析案例
更多行業資料:
10大行業公開資料免費下載下傳:電商零售行業
10大行業公開資料免費下載下傳:金融行業
10大行業公開資料免費下載下傳:遊戲行業
10大行業公開資料免費下載下傳:教育行業
10大行業公開資料免費下載下傳:旅遊行業
10大行業公開資料免費下載下傳:文化娛樂行業(電影,音樂等)
10大行業公開資料免費下載下傳:醫療行業
10大行業公開資料免費下載下傳:汽車及出行
10大行業公開資料免費下載下傳:房産行業
10大行業公開資料免費下載下傳:自媒體等行業
方法二:從資料平台擷取
1.國内中文平台:
1)阿裡雲天池,官網網址:
https://tianchi.aliyun.com/dataset/資料下載下傳辦法:
2)DataFountain,官網位址:
https://www.datafountain.cn/dataSets有的檔案下載下傳後會顯示字尾是.zip, .zip是個壓縮包,下載下傳後需要減壓後才能看到壓縮包裡的excel檔案
2.國外英文平台
Kaggle,官網位址和如何下載下傳資料:如何在Kaggle上查找資料
方法三:傻瓜式爬蟲工具(不需要程式設計)
【優點】在網站上爬取你感興趣領域網站的資料,可以擷取到自己想要的領域資料
【缺點】需要看官網教程來學習,有一定門檻
1)工具: 後羿,同時有mac,windows版本
網址:
http://www.houyicaiji.com/打開官網後點選下圖“教程”的地方有入門教程。
2)工具:集搜客,隻有windows版本
操作指南隻需要看下面紅框中的内容就可以,操作指南位址:
https://www.gooseeker.com/tuto/tuto爬取多少資料?
資料量少一般說明不了什麼問題,起碼的超過幾萬條資料。
多嘗試、思維邏輯要清晰,一定要知道自己做什麼,爬取什麼樣的資料,提前規劃好了,整個過程就不會走太多的彎路。
案例:
https://zhuanlan.zhihu.com/p/39733403歡迎留言補充更多行業資料。
上面提到3種擷取資料的方法,選擇一種适合你自己方法。擷取資料後分析,可以使用這個裡面的方法來分析:
https://www.zhihu.com/question/29265587/answer/155365747