網絡上從不缺乏對資料科學術語進行比較和對比的文章。文筆各異的人寫出了各式各樣的文章,以此将他們的觀點傳達給任何願意傾聽的人。這幾乎是勢不可擋的。
是以我也記錄一下,對于那些疑惑此文是否也是雷同的文章。對,是這樣的。
為什麼再來一帖?我是這樣想的,盡管可能有很多分散觀點在定義和比較這些關聯術語,但事實上是,這些術語中的大部分是流動變化的,并不完全約定俗成,坦率地說,與他人觀點一同暴露是測試和優化自己的觀點的最好方法之一。
是以,雖然大家可能不會完全(甚至是極低限度地)同意我對這些術語的大部分看法,但仍然能從中獲得一些東西。資料科學中的一些核心概念需要被解釋,或者至少在我看來是重要的,我會盡力闡述他們如何關聯,以及答疑這些個體概念組合在一起時遇到的困惑。
在獨立地思考概念之前,有個不同觀點的例子,kdnuggets的gregory piatetsky-shapiro的維恩圖,概述了我們将要讨論的資料科學術語之間的關系。建議讀者将此維恩圖與目前drew conway的著名的資料科學維恩圖,以及我下面的讨論和文章底部的修改過程/關系圖進行比較。我認為,盡管存在差異,但這些概念具有一定的相似性。
現在我們将對上述維恩圖中圈選的6個核心概念進行分析,并提供一些關于如何将它們融入資料科學的洞察。我們很快就會摒棄過去十年最熱門的一些術語。
大資料(big data)
有各種各樣的文章在定義大資料,我不打算花太多時間在這個概念上。簡單地來說,大資料通常被定義為“超出常用軟體工具捕獲,管理和處理能力”的資料集。 大資料是一個移動目标; 這個定義既模糊又準确,足以捕捉其主要特征。
至于其他的概念,我們将通過調查,很好的獲得搜尋字詞的流行度和n-gram頻率模型的一些初步了解,以便将這個難點與熱點炒作分開。鑒于這兩個概念相對較新,從1980年至2008年,n-gram頻率模型作為一個“舊”的概念如上圖所示。
最近的google趨勢顯示2個新詞上升,另外2個保持持續上升,以及最後一個逐漸下降但有明顯的下降。請注意,由于已經對資料進行了定量分析,‘大資料’未包含在上述圖形中。繼續閱讀,以便進一步了解觀測結果。
機器學習(machine learning)
據tom mitchell在關于這個主題的創作書中闡述,機器學習“關心的問題是如何建構計算機程式使用經驗自動改進”。機器學習本質上是跨學科的,采用計算機科學,統計學和人工智能等方面的技術。機器學習研究的主要工作是促進經驗自動改進的算法,可以應用于各種不同領域。
我不認為有人會懷疑機器學習是資料科學的核心組成。我在下面給出資料科學的較長的描述,如果你認為在一個非常高的水準上其目标是從資料中擷取洞察力,其實機器學習是允許此過程自動化的。機器學習與古典統計學有很多共同點,因為它使用樣本來推斷和概括。資料統計更多地側重于描述性(盡管可以通過外推來預測),機器學習對描述性分析的關注很少,并且僅将其用作中間步驟以便能夠進行更好預測。機器學習通常被認為是模式識别的同義詞;真的不會從我這裡發生太多的分歧,我相信,‘模式識别’這個術語意味着實際上是一個比機器學習更不複雜和更簡單化的過程,這就是為什麼我傾向于回避它。
機器學習與資料挖掘有着複雜的關系。
資料挖掘(data mining)
fayyad,piatetsky-shapiro&smyth将資料挖掘定義為“從資料中提取模式的特定算法的應用”。這表明,在資料挖掘中,重點在于算法的應用,而不是算法本身。我們可以定義機器學習和資料挖掘之間的關系如下:資料挖掘是一個過程,在此過程中機器學習算法被用作提取資料集中的潛在有價值模式的工具。
‘資料挖掘’作為機器學習的姊妹術語,也是資料科學的關鍵。在資料科學術語爆發泛濫之前,事實上,資料挖掘’在google搜尋術語中取得了更大的成功。看看google趨勢比上圖顯示的還要早5年,資料挖掘’曾經更受歡迎。然而,今天,資料挖掘’似乎被劃分為機器學習和資料科學之間的概念。若有人同意上述解釋,資料挖掘是一個過程,那麼将資料科學視為資料挖掘的超集,那麼後續的術語都是有意義的。
深度學習(deep learning)
盡管在早期的線上搜尋急劇爆發之前它已經存在,‘深度學習’仍是一個相對較新的術語。由于學術研究和工業的蓬勃發展,其在不同領域取得了巨大成就,深度學習是應用深層神經網絡技術(即具有多個隐藏層的神經網絡架構)來解決問題。深度學習是一個類似資料挖掘的過程,它采用深層神經網絡架構,這是特定類型的機器學習算法。
深度學習已經取得了令人印象深刻的成就。有鑒于此,至少在我看來,務必要注意幾點:
深度學習不是靈丹妙藥 – 對于每個問題來說,并不是一個簡單一刀切的解決方案。
這不是傳說中的萬能算法 – 深度學習不會取代所有其他機器學習算法和資料科學技術,至少還沒有被證明是這樣。
适度的期望是必要的 – 盡管最近在各種類型的分類問題上,特别是計算機視覺和自然語言處理以及強化學習等領域已經取得了巨大的進步,但當代深度學習并沒有擴大到非常複雜的問題,例如“解決世界和平”。
深度學習和人工智能不是同義詞。
深度學習可以幫助資料科學以附加過程和工具的形式解決問題,而在這種觀察中,深入學習是資料科學領域的一個非常有價值的補充。
人工智能
大多數人發現人工智能很難用一個精确的,甚至是廣泛的定義講出來。我不是一個人工智能研究者,是以我的答案可能與其他領域的人差别很大。多年來通過對ai的思想哲學研究,我得出的結論是,人工智能,至少我們通常認為的想法的概念,實際上并不存在。
在我看來,ai是一個标尺,一個移動目标,一個渴望而不可及的目标。每當我們邁向ai成就之路,不知何故,這些成就似乎又變成了被稱為其他的東西。
我曾經讀過如下内容:如果你在上世紀60年代問ai的研究人員,他們對ai的想法是什麼,他們可能會一緻認為,可以幫助我們預測下一步行動和欲望,所有人類知識可以随時擷取,一個适合我們口袋的小型裝置就是真實的ai。但是今天我們都攜帶智能手機,很少有人會把它們稱為人工智能。
ai适合資料科學?嗯,正如我所說,我不認為ai真的是有形的,我想很難說它适合任何地方。但,一些資料科學和機器學習相關領域,人工智能可以提供助力,有時與實體一樣有價值;計算機視覺肯定會引起注意,現代深度學習研究也是如此,得益于人工智能的精神氣質,若不是無限期的話。
ai可能是研究和開發裝置,從來沒有在同名行業中産生任何東西。我想說,從ai到資料科學的這條路徑可能不是檢視兩者之間的關系的最佳方式,但是兩個實體之間的許多中間步驟已經被ai以某種形式開發和完善了。
資料科學(data science)
那麼,在讨論這些相關概念和資料科學的地位之後,資料科學究竟是什麼呢?對我來說,這是試圖精确定義的一個最難的概念。資料科學是一個多方面的學科,包括機器學習和其他分析過程,統計學和相關的數學分支,越來越多地從高性能科學計算中借鑒,以便最終從資料中發現洞察,并使用這些新發現的資訊來講述故事。這些故事通常伴随着圖檔(我們稱之為可視化),并針對行業,研究甚至是我們自己,目的是從資料中擷取一些新的想法。
資料科學采用相關領域的各種不同工具(請參閱上面所有内容)。資料科學既是資料挖掘的同義詞,也是資料挖掘概念的超集。
資料科學産生各種不同的結果,但它們都具有共同的洞察力。資料科學是這一切,而且對你而言,它可能還有别的東西,而且甚至還沒有涵蓋擷取,清理,判别和預處理資料!順便說一下,什麼是資料呢?它總是大嗎?
我認為我的關于資料科學困惑的觀點,至少可以通過上圖的版本來代表它,以及這篇文章的頂部的piatetsky-shapiro的維恩圖。我也建議大多數與drew conway的資料科學維恩圖一緻,盡管我會補充一點:我認為他非常合理且實用的圖像實際上是指資料科學家,而不是資料科學。這可能是吹毛求疵,但我不認為資料科學本身包含黑技能;我相信這是科學家擁有的技能,以便能夠進行資料科學。誠然,這可能是對語義的嘲弄,但在我心中是有道理的。
當然,這不是一個宏圖的全景,它在不斷地演變。例如,我記得不久以前的一次閱讀,資料挖掘是商業智能的一個子領域。即使有不同的意見,我真的不能想象今天這是一個有效的想法(坦率地說,幾年前很難接受)。
本文作者:佚名
來源:51cto