随着雲時代的到來,大資料也吸引了越來越多的關注。大資料技術的出現,給我們的生活帶來了全新的改變,在海量資訊時代,我們擷取資訊的方式、以及能擷取的資訊越來越多,很多人力物力無法有效整理的資料,依靠大資料技術都可以解決。馬雲曾經在演講中提到,未來的時代将不是IT時代,而是DT的時代,DT就是Data Technology資料科技,可見,大資料對于阿裡巴巴集團甚至未來社會都有重大意義。
一、大資料技術為什麼這麼重要?
首先,我們可以從大資料的特點來看:
- 容量(Volume):資料的大小決定所考慮的資料的價值和潛在的資訊;
- 種類(Variety):資料類型的多樣性;
- 速度(Velocity):指獲得資料的速度;
- 可變性(Variability):妨礙了處理和有效地管理資料的過程。
- 真實性(Veracity):資料的品質。
- 複雜性(Complexity):資料量巨大,來源多管道。
- 價值(value):合理運用大資料,以低成本創造高價值。
大資料的這些特點,決定了大資料技術有巨大的價值。其次,從大資料的價值來看:
- 對大量消費者提供産品或服務的企業,可以利用大資料進行精準營銷;
- 做小而美模式的中小微企業,可以利用大資料做服務轉型;
- 面臨網際網路壓力之下必須轉型的傳統企業,需要與時俱進充分利用大資料的價值。
幾乎所有商業上的成功,都依賴于成功的決策。而好的決策依賴于充分、有用的資訊。資訊來源有兩個主要管道,一是個人主觀經驗,二是客觀資料。二者缺一不可,形成互補關系。是以,很多企業都需要高薪挖有行業經驗的人才,收集有利于企業決策的重要資料,這也是大資料技術的價值所在。
二、大資料技術未來發展和就業前景如何?
1.政策上來看,國家大力支援。
2015年9月,國務院印發《促進大資料發展行動綱要》,系統部署大資料發展工作;2016年3月,在釋出的十三五規劃綱要中,提出“實施國家大資料戰略”,把大資料作為基礎性戰略資源;2020年,國家提出大力發展“新基建”,涉及7大領域,大資料中心就是其中之一。從這一系列的政策措施中,可以看到國家對大資料技術的重視。而随着資料相關的應用和商業模式越來越多,與老百姓生活相關性日益密切,無論是國内還是國外,都相繼出台了成熟的資料産權以及資料安全的法律法規,來保障大資料行業平穩有序地發展。
2.從行業發展來看,産業進入爆發階段
随着資訊通信技術的發展,各行各業資訊系統采集、處理和積累的資料量越來越多,全球大資料儲量呈爆炸式增長。近幾年全球大資料儲量的增速每年都保持在40%,2016年甚至達到了87.21%的增長率。

根據資訊網近幾年的統計,大資料行業發展爆發趨勢,大量企業湧入,我國大資料産業規模穩步增長。2016-2019年,短短四年時間,我國大資料産業市場規模由2840.8億元增長到5386.2億元,增速連續四年保持在20%以上。
目前,我國正在加速從資料大國向着資料強國邁進。随着中國物聯網等新技術的持續推進,到2025年,其産生的資料将超過美國。資料的快速産生和各項配套政策的落實推動我國大資料行業高速發展,預計未來我國行業大資料市場規模增速将維持在15%-25%之間,到2025年中國大資料産業規模将達19508億元的高點。
3.應用場景廣闊
大資料應用已深入物聯網、人工智能、網際網路、5G、電商、金融、遊戲、交通、傳媒、醫療、房地産、政務等各行各業。這也預示着無論是我們的日常生活還是生産制造、經濟發展都離不開大資料技術。
4.人才缺口大
自2015年以來,随着大資料産業迅速發展,對大資料人才的需求也不斷增加。截止到2020年,大資料相關人才缺口達230萬。而這個數字,随着大資料被列入到“新基建計劃”之後會持續增長。
5.就業薪資高
根據職友集的統計,2021年大資料工程師崗位平均薪資高達22.4K/月,相較于2020年增長了10%。其中1~3年工作經驗的薪資為20.4K,3~5年經驗的薪資為24.4K,明顯高于網際網路其他技術崗位。
大資料崗位職業生涯(參考):
1.大資料開發工程師,工作1-3年,年薪18萬以上。2.進階大資料開發工程師,工作3-5年,年薪28萬以上。3.大資料架構師,工作5-8年,年薪40萬以上。4.大資料技術總監,工作8-10年,年薪55萬以上。5.大資料首席資料官(CDO),工作10年以上,年薪85萬+。
三、有什麼值得考的大資料證書?
阿裡雲ACP大資料認證
是面向使用阿裡雲大資料産品的架構、開發、運維類人員的專業技術認證,通過ACP認證證明你可以基于阿裡雲的産品制定有效的技術解決方案和企業最佳實踐。目前ACP大資料認證有大資料工程師和大資料分析師兩個方向。
對于求職者來說,阿裡系企業或者阿裡的生态合作夥伴企業,都會認可ACP證書,如果你希望入職阿裡,那考一個這樣的證書,會是你的加分項。
而對于其他非阿裡系企業,這樣一個證書可能用處并不大,但考了這個證書,至少證明你有相應的大資料專業知識和實踐經曆,是一個能力的證明,是以也是有用的。
華為大資料認證HCIE
具體到華為HCIE-Big Data認證,其特點主要展現在四個方面:
理論深刻、技術領先,圍繞資料處理、資料分析、資料挖掘、資料可視等,課程涵蓋大資料分析和挖掘的前沿技術,可以讓學員緊随大資料發展趨勢,系統掌握大資料前沿技術;
源于開源、勝于開源,基于開源社群,包含開源大資料處理平台Hadoop、記憶體實時計算Spark、大資料平台資料倉庫Hive、大資料NoSQL資料庫HBase等元件;
雲上實驗、随心學習,實驗采用華為雲作為實驗平台,學員可随時通路進行實驗操作,降低學習成本、提高效率;
結合案例、實戰領先,源于企業真實項目需求,實驗中融入大量實際項目應用場景,如銀行定期存款業務預測、客戶分群、流動人口常住地分析等,便于學員學以緻用,融會貫通。
相比較來說,華為大資料認證比阿裡的難度大很多,且費用貴很多,不太适合新手小白、學生黨。
最後,不管是大資料工程師證書,還是資料分析師證書,每個職業的相關技能認證,其實都是一種錦上添花的作用,畢竟技術類的工作都是要看你的實際操作水準的。企業都喜歡主動的、善于思考的人才,這樣才能更好地成長起來,解決工作當中的實際問題。
- 業務能力(做過什麼行業,你的見解有那些,細節掌握如何)
- 分析思維能力(遇見問題時,你分析的角度和判斷是什麼?架構夠不夠清晰)
- 解決問題能力(資料的結果,有沒有針對性的解決方案)
- 技術能力(算法掌握、工具了解是否多元化,夠不夠專業)