天天看點

如何區分資料科學家,資料工程師與資料分析師

與其他一些相關工程職位一樣,資料科學家的影響力與網際網路同進同退。資料工程師和資料分析師與資料科學家攜手共同完成這幅“大資料時代”巨作。

三者之間的定義又是如何區分的呢?

資料科學家是什麼樣一個存在呢?

通常情況下,資料科學家有數學或實體方面的高等學位。有博士學位的情況并不少見,碩士學位僅是一個前提條件。資料科學家精通統計模組化以及如何建構與定制進階數學算法。這既在他們專業範圍内,也是他們所擅長的地方。我聽到過有人這樣形容一個資料科學家“軟體工程技能牛過多數人的酷炫統計學家”。

我結合加工的說:所謂資料科學家,是指運用統計分析、機器學習、分布式處理等技術,從大量資料中提取出對業務有意義的資訊,以易懂的形式傳達給決策者,并創造出新的資料運用服務的人才。

資料工程師如何定義呢?

資料工程師一般被定義成“深刻了解統計學科的明星軟體工程師”。如果你正為一個商業問題煩惱,那麼你需要一個資料工程師。這些夥計就是那些能提供可模組化資料所需平台的人。他們的核心價值在于他們借由清晰資料建立資料管道的能力。

資料科學家

資料工程師對演算法有相當好的了解。是以,資料工程師理應能運作基本資料模型。商業需求的高端化催生了演算高度複雜化的需求。很多時候,這些需求超過了資料工程師掌握知識範圍,這個時候你就需要打電話尋求資料科學家的幫助。

資料分析師如何了解呢?

資料分析師能洞悉一個方程式的商業意義。他們知道如何提出正确的問題,非常善于資料分析,資料可視化和資料呈現。不管是給另一個資料分析師還是c級執行做演講,資料分析師都是資料提取,模式識别以及從大量資料中洞察問題方面的能手。

如果你或者你的公司正考慮順應這股大資料浪潮的發展,你應該從明确你想利用大資料解決所面臨的商業問題處下手。接着找出你真正的需求:是資料采集,檢索,倉儲還是資料分析?然後編寫相應的職位描述并做好準備。

從事這三者都要具備哪些技能呢?

資料科學家所需的技能如下:

計算機科學

一般來說,資料科學家大多要求具備程式設計、計算機科學相關的專業背景。簡單來說,就是對處理大資料所必需的hadoop、mahout等大規模并行處理技術與機器學習相關的技能。

數學、統計、資料挖掘等

除了數學、統計方面的素養之外,還需要具備使用spss、sas等主流統計分析軟體的技能。其中,面向統計分析的開源程式設計語言及其運作環境“r”最近備受矚目。r的強項不僅在于其包含了豐富的統計分析庫,而且具備将結果進行可視化的高品質圖表生成功能,并可以通過簡單的指令來運作。

資料可視化(visualization)

資訊的品質很大程度上依賴于其表達方式。對數字羅列所組成的資料中所包含的意義進行分析,開發web原型,使用外部api将圖表、地圖、dashboard等其他服務統一起來,進而使分析結果可視化,這是對于資料科學家來說十分重要的技能之一。

資料工程師需具備的技能

數學及統計學相關的背景

對于大多數網際網路大公司來說,對于資料工程師的要求都是希望是統計學和數學背景的碩士或博士學曆,隻有具備一定的理論知識,才能了解模型、複用模型甚至創新模型,來解決實際問題。

計算機編碼能力

實際開發能力和大規模的資料處理能力是作為大資料工程師的一些必備要素,因為許多資料的價值來自于挖掘的過程,你必須親自動手才能發現金子的價值。

對特定應用領域或行業的知識

資料工程師這個角色很重要的一點是,不能脫離市場,因為大資料隻有和特定領域的應用結合起來才能産生價值。是以,在某個或多個垂直行業的經曆能為應聘者積累對行業的認知,對于之後成為資料工程師有很大幫助,是以這也是應聘這個崗位時較有說服力的加分項。

資料分析具備的技能

懂業務

從事資料分析工作的前提就會需要懂業務,即熟悉行業知識、公司業務及流程,最好有自己獨到的見解,若脫離行業認知和公司業務背景,分析的結果隻會是脫了線的風筝,沒有太大的使用價值。

懂管理

一方面是搭建資料分析架構的要求,比如确定分析思路就需要用到營銷、管理等理論知識來指導,如果不熟悉管理理論,就很難搭建資料分析的架構,後續的資料分析也很難進行。另一方面的作用是針對資料分析結論提出有指導意義的分析建議。

懂分析

指掌握資料分析基本原理與一些有效的資料分析方法,并能靈活運用到實踐工作中,以便有效的開展資料分析。基本的分析方法有:對比分析法、分組分析法、交叉分析法、結構分析法、漏鬥圖分析法、綜合評價分析法、因素分析法、矩陣關聯分析法等。進階的分析方法有:相關分析法、回歸分析法、聚類分析法、判别分析法、主成分分析法、因子分析法、對應分析法、時間序列等。

懂工具

指掌握資料分析相關的常用工具。資料分析方法是理論,而資料分析工具就是實作資料分析方法理論的工具,面對越來越龐大的資料,我們不能依靠電腦進行分析,必須依靠強大的資料分析工具幫我們完成資料分析工作。

懂設計

懂設計是指運用圖表有效表達資料分析師的分析觀點,使分析結果一目了然。圖表的設計是門大學問,如圖形的選擇、版式的設計、顔色的搭配等等,都需要掌握一定的設計原則。

本文轉自d1net(轉載)

繼續閱讀