天天看點

記阿裡雲在大資料入門的使用

餘懂冬,資料科學與大資料大四學生一枚。于電腦記憶體不大,難多開虛拟機不熟分布式Hadoop之際,得知阿裡雲伺服器。吾又聽聞飛天加速故而用之。

有一點需特别說明,吾輩大資料專業之人,當多部署完全分布式,盡量少整僞分布式。多機部署和單機部署還是有很大差距的。然後共享一下我的小技巧。有人說三台伺服器不好搞啊,買的話真不貴,不買多借幾個賬戶開通也可以。下面說一下我的誤區。我買完了直接用public ip通訊當然了不是不可以。隻是确實慢。公網不好走啊。路上啥都有,弄不好還會消息撞車。

怎麼辦呢?組雲企網,不得不說阿裡就是阿裡。這個貌似是針對企業提出的這麼個好東西。說白了就是把你的雲伺服器組成内網。但是不是網線直連我不清楚啊。注意!盡量買一個地兒的伺服器,别東邊買一台,北邊買一台,這樣不好。就一個地兒三台,還不用買跨區域流量包。否則組雲企網是會收費的。

組成雲企網,能達到100M/s真的爽!!!基本上大資料元件之間通信也沒啥問題。三台2核4G的阿裡雲ecs,hadoop、zookeeper、hbase、spark都整成分布式叢集一點兒問題沒有,别用太過就行。

用伺服器學習大資料确實爽,你買的越貴用的越爽。當然入門級别的話太貴的也沒啥意義。

我就是因為提前接觸了伺服器,提前接觸了大資料才更有底氣地去找工作。能以一個普本的學生,去和一群985、211的高手去競争。當然了,在座的諸位都是大神。

我謝謝諸位大神,我也謝謝阿裡雲!給了我這個免費接觸雲伺服器的機會,給了我學習大資料的資本。否則我之前真的錯誤的認為,非土豪難學大資料。

謹以此文獻給阿裡,獻給阿裡雲社群的小夥伴們!

繼續閱讀