天天看點

盤點大資料商業智能的十大戒律

如今,各路企業群組織都不再使用上一代架構來存儲大資料。既然如此,為什麼還要使用上一代商業智能(bi)工具來進行大資料分析呢?在為企業選擇bi工具時,應該遵守以下“十誡”。

盤點大資料商業智能的十大戒律

第一誡:不要轉移大資料

轉移大資料代價高昂:畢竟,大資料很“大”,如果打包轉移,負擔太重。不要将資料提取出來,做成資料集市和資料立方,因為“提取”就意味着轉移,會在維護、網絡性能附加處理器方面造成紛亂龐雜的問題,出現兩個邏輯上相同的備份。讓bi深入更底層運作資料就是大資料萌發的最初動力。

第二誡:不要偷盜!或者說不要違反企業安全政策

安全并非可有可無。不幸的是,資料洩露事件頻繁發生,這表明實作安全并非易事。要選擇能夠利用現有安全模型的bi工具。依靠ranger、sentry、knox等綜合性安全系統,大資料可以使實作資料安全變得更加容易,現在就連mongo資料庫都有了令人驚歎的安全架構。所有那些模型都允許你插入權限、将使用者資訊一路傳播到應用層、實施可視化的授權和提供與該授權相關的資料志。記住了,安全即服務。

第三誡:不要按照使用者數和資料量付費

大資料的一個主要好處在于,如果做好了,它就能實作極高的成本效益。把5pb資料存儲到oracle可能會讓你傾家蕩産,但存儲到大資料系統則不會。盡管如此,在付錢購買之前,應該警惕某些價格陷阱。有些bi應用按照資料量或者索引資料量向使用者收費。千萬當心!資料量和大資料使用量出現指數式增長是再平常不過的事情,我們的客戶曾目睹其通路量在短短幾個月時間裡從數百億次猛增到數千億次,使用者數擴大50倍。這是大資料系統的另一個好處:漸進式可擴充性。不要被低價所迷惑,去購買一種會對企業增長征收“高稅”的bi工具。

第四誡:要貪大膽借鑒别人的可視圖

分享靜态圖表?這些我們已經做過了,無論是pdf文檔、png圖檔還是電郵附件裡,到處都在傳播靜态圖表。但對于大資料和bi,靜态圖表還遠遠不夠:你擁有的一切無非都是些漂亮的圖檔罷了。你應該讓任何人都能夠随心所欲地與你的資料進行互動。應該把可視化看作是駕馭資料的互動式路線圖。為什麼要閉門造車呢?将互動式可視化手段公之于衆隻是第一步。看看github的模式就知道。與其說“這是我的最終釋出産品”,不如說“這是一幅可視圖,複制下來,分解它,我就是從中得到那些見解,看看它還能用于其他哪些領域”。這會其他人從你的見解中學到有用的東西。

第五誡:要分析天然形态的資料

大資料是“非結構化”的,這樣的說法我們已經聽過太多太多。其實不然。财務和傳感器會産生大量的鍵值對。json(可能是當下最流行的資料格式)可以是半結構化、多結構化等等,mongo資料庫對這種資料格式下了重注。json具有好處理和可規模化的優點,但如果把它轉換成表格,表達力就會丢失。很多大資料仍然被制成表格,通常擁有數千欄。你不得不為所有的值尋找關系:“在那種情況下……從這裡選擇這個”。扁平化會毀掉原始結構中所表達的重要關系。遠離那些對你說“請把資料轉換成表格,因為我們一直都這麼幹”的bi解決方案。

第六誡:不要無限期地等待結果

在2016年,我們預計資料處理速度将會變得快起來。一個典型方法是聯機分析處理(olap)立方,本質上就是把資料轉移到預計算緩存,進而加快處理速度。問題在于,你必須提取和轉移資料(請看第一誡),以便建造資料立方,然後才能加快速度。現在,這種方法能夠在一定的資料規模下良好運轉,但如果臨時表格過于龐大,你的筆記本電腦在試圖将表格本地化的時候就會崩潰。當你提取新資料重建緩存時,新資料的分析就會中途停下來。此外還要注意樣本問題,你可能會得到一個看起來不錯、效果很好的可視圖,但最後卻發現全不對路,而問題就出在缺少大局觀。要選擇那些能便捷地不斷調整資料的bi工具。

第七誡:不要制作報告,而要打造應用

在很長一段時間裡,“獲得資料”意味着獲得報告。在大資料時代,bi使用者希望從多個來源獲得異步資料,這樣他們就不需要重新整理任何東西,就好像浏覽器和移動裝置上運作的其他各種東西。使用者希望和可視元素進行互動,得到他們正在尋找的答案,而不是對你已經提供給他們的結果進行交叉過濾。rails等架構使打造web應用變得更加簡單。為什麼不對bi應用做同樣的事情呢?沒理由不對這些應用、應用程式接口(api)、模闆、可重用性等等采取類似的做法。現在是時候通過現代web應用開發的透鏡來看待bi。

第八誡:要利用智能工具

在提供基于資料的可視圖方面,bi工具已經證明了自己的能力。現在則輪到在模型和緩存的自動維護上下功夫,這樣一來,終端使用者就不必操這個心了。在龐大的資料規模下,自動維護幾乎是不可或缺的,我們可以從使用者和資料與可視圖的互動中獲得大量資訊,現代工具應該使用這些資訊來對資料網絡效應加以利用。另外,要選擇那些内置全面搜尋能力的工具,因為我曾見過有些客戶擁有成千上萬的可視圖。你需要一種迅速查找的方法,在網絡的長年熏陶之下,我們已經習慣了搜尋,而不是翻找菜單。

第九誡:要超越基本範疇

如今的大資料系統因為預測分析能力而著稱。相關性、預測和其他功能使企業使用者比以往任何時候都能更便捷地進行進階分析。不需要程式設計經驗就能處理大資料的可視化技術讓分析師如有神助,超越了基本分析的範疇。為了實作其真正的潛力,大資料不應該依賴于每個人都變成r預言程式員。人類非常善于處理可視化資訊,我們必須更加努力地将可視化資訊呈現在人們眼前。

第十誡:不要隻是站在資料湖邊,等着資料科學家來幹活兒

不管你是把大資料當成資料湖還是企業資料中心,hadoop已經改變了資料的處理速度和存儲成本,我們每天都在創造更多的資料。但在真正利用大資料為企業使用者服務方面,常常存在一種“隻寫系統”——創造資料的人很多,但利用資料的人卻很少。

其實,用hadoop裡的資料可以為企業使用者解答數不清的問題。bi講究的是打造資料可視化應用,為日常決策提供支援。企業裡的每個人都希望做出資料驅動的決策。把大資料能夠解答的所有問題局限于需要資料科學家來處理的問題,這是奇恥大辱。

原文釋出時間為:2017年5月23日

本文來自雲栖社群合作夥伴至頂網,了解相關資訊可以關注至頂網。

繼續閱讀