天天看點

最佳拍檔 | 雲計算+大資料+DataFlux,輕松發揮資料“原生”力

大資料概念的提出已經超過十年時間,經過這十幾年的快速發展,已經在各個領域廣泛應用,而且應用效果顯著。大資料大力發展的十幾年,也正是雲計算增長最快的時期。可以說雲計算和大資料是相輔相成,互相成就的一對關系。

最佳拍檔 | 雲計算+大資料+DataFlux,輕松發揮資料“原生”力
為什麼說大資料和雲計算是相輔相成,互相成就的?首先從大資料的幾個特點來說:

資料量巨大

顯而易見,資料不大不能稱之為大資料,不僅資料量大,而且增長速度快。

以我們為某高校做的智慧教育項目來說,每個月采集的資料量達到上百 GB,這還是采集高壓縮比的InfluxDB時序資料庫存儲的資料量,如果用傳統的結構化資料庫來存儲的話,每個月的資料量可以達到 TB級别。

資料種類多:

不光文本或數字是資料,圖檔、音視訊等都是資料。

時效性強:

與傳統數倉資料挖掘不同的是,數倉是定時采集過期的資料,事後再從數倉中挖掘出有價值的資料。

而大資料是要從巨大的資料中快速的獲得有價值的資料,要做到這一點,首先就是要靠強大的計算能力。

上面舉例的幾點來說,在非雲計算的環境下是很難做到的。如上面說的巨大的資料及資料增長量,在雲計算環境下,你随時可以從1T 擴充到10T、100T,計算能力不足時,随時可以從16核擴充到32核 甚至64核 ,再不夠的話從一台機器擴充到十台百台機器。雲計算的高可靠性、高可擴充性、存儲與處理的低成本,正好能滿足大資料的要求。

以上說了大資料與雲計算之間的關系,那麼在大資料環境下,企業如何從一個龐大、雜亂的資料堆中擷取到有價值的資料的呢?

最佳拍檔 | 雲計算+大資料+DataFlux,輕松發揮資料“原生”力

上海駐雲自研發的大資料統一分析平台DataFlux就可以輕松解決!

DataFlux可以通過對任何來源、類型、規模的實時資料進行監控、分析和處理,釋放資料價值。

主要是有以下幾個步驟:

1. 資料采集:

豐富的資料采集器,支援幾百種資料源資料的采集。

2. 資料傳輸:

資料采集器采集到的資料,通過資料網關,經過資料網關的資料清洗後,打到中心,先進入消息隊列,後面有任務消費資料隊列中的資料,寫入資料庫,保證資料的高可靠性。

3. 資料存儲:

就大資料的兩大核心特點來說:資料量龐大、實時資料分析能力。就這兩個核心點來說,我們使用的InfluxDB的高壓縮比存儲,超強查詢分析能力,它是個不二選擇。傳統的結構化資料庫根本無法滿足這兩點要求。

最佳拍檔 | 雲計算+大資料+DataFlux,輕松發揮資料“原生”力

資料洞察:

對于大資料來說,我們需要的是資料之間的相關性價值,而不是某一個單一資料的價值。比如有一個很有意思的大資料應用例子:沃爾瑪的飓風與蛋撻的例子。沃爾瑪發現每當飓風來臨時,不但飓風用品的銷量大增,蛋撻銷量也跟着大增。是以沃爾瑪經常會在飓風來臨時,将蛋撻放在臨近飓風用品的位置,進而大大提高了蛋撻的銷量。

上面例子中的飓風就是一個關鍵事件,通過分析各類商品的銷售量曲線,發現每次蛋撻銷量曲線上漲時都有一個“飓風”的關鍵事件,就可以得出以上結論。

資料分析預測:

配合DataFlux的函數計算平台内置大量常用的預測、轉換、檢測函數,可以完成更多的資料分析處理要求。另外也可以很低的入門門檻,編寫自己的預測、轉換、檢測函數,更貼合自己的資料業務場景。

更多DataFlux詳情可通路官方網站:DataFlux.cn

最佳拍檔 | 雲計算+大資料+DataFlux,輕松發揮資料“原生”力