品高公開課 | 雲和大資料時代的資料管理

小編的話

“技術幹貨”系列文章意在分享技術牛人的知識幹貨，每期主題都不一樣喲！期待各位讀者在文後發表留言，來一場技術上的交流和思想上的碰撞！本期将由品高大資料平台産品經理李偉文帶來“雲和大資料時代的資料管理”的分享。

分享嘉賓

李偉文，目前就任品高大資料平台——bingoinsightdig平台的産品經理，專注于大資料和資料分析領域，擁有多個資料分析領域項目經驗，14年開始轉向資料平台方向的研究，主要負責産品規劃、設計和售前支援。

分享正文

大家好，非常榮幸能和大家一起學習和交流，品高有将近10年資料分析領域的實施經驗，資料分析産品化是必然結果，是以今天主要跟大家分享一下本人對企業建構大資料平台的一些觀點和品高大資料平台bingoinsight的産品設計理念，歡迎大家和我碰撞和切磋。

hadoop和spark隻是架構并非産品，

hadoop離企業大資料的期望還有一段距離。

企業使用hadoop建構平台會面臨諸多問題，技術體系龐大選型複雜、開源無服務支撐、叢集部署複雜等，hadoop隻解決了資料存儲和計算問題，企業還需考慮資料采集、資料處理、資料模組化、資料運維、資料開放、資料可視化等一系列的問題；好複雜，感覺不會再愛了。

是以，我們品高大資料平台bingoinsight（以下簡稱bingoinsight）的定位就是一站式大資料解決方案，幫助企業快速傳遞資料價值。以下給大家介紹一下bingoinsight的産品特性和設計理念；

第一，存儲和計算叢集環境：一鍵傳遞

企業可自助定義大資料平台存儲架構技術及叢集配置，hadoop、spark、nosql、rdb資料庫、資料庫、全文檢索等叢集均可一鍵傳遞，節省了軟體部署的諸多時間。

第二，資料采集：隻需簡單配置即可從多種資料源快速內建資料

可支援的資料源包括oracle、db2、mysql、sqlserver等主流rdb以及nosql、mpp、文本、ftp、網頁、excel、socket、webservice，采集周期可以是分鐘、小時、日、周、月，非常靈活。

第三，資料存儲和計算：開放性設計，擁抱不同的存儲計算技術，滿足不同企業的需求

不限制企業是用hadoop，mpp、rdb作為存儲計算，企業可按實際的資料量和應用場景靈活選擇。以上bingoinsight支援排程；

第四，資料處理和開發：從場景出發，将常見的資料處理場景模闆化，提升資料處理效率

資料進到資料平台後怎樣進行處理呢？ 我們把企業資料處理的場景做了詳細的梳理和抽象，包括報表資料處理、名額資料處理、文本分類、全文索引建構、資料挖掘、提數、資料探索等，我們将這些場景總結沉澱為一個個資料處理的模闆庫，使用者做資料處理和開發時按需選取一個資料處理的模闆，然後再通過設定資料處理的一些參數即可進行開發，相當于使用者在做資料處理的時候不需要開發或者是少量的開發就可以處理資料。規則設定好之後bingoinsight會自動排程。

第五，資料開放和共享：打破部門壁壘和邊界，統一開放資料

去年8月份國務院釋出《促進大資料發展行動綱要》，對政府和企業明确提出資料共享和開放要求，bingoinsight通過資料共享開放平台為政府和企業各部門實作内部橫向和垂直部門的資料交換和共享，并以資料服務總線将資料統一開放，保障資料通路的安全和效率，提供資料應用市場，統一管理、分發、檢索資料應用

第六，資料分析和可視化：讓資料盡快應用于生産

通過儀表盤、報表、自助分析、資料地圖等分析工具快速連接配接業務部門和資料，一般情況下 ，業務部門無需再找it部門提數，如工具無法滿足需求，bingoinsight亦提供基于html5的資料可視化開發架構，提供100多個資料可視化分析元件，快速定制資料應用。

好的，今天就聊這麼多，大家如有疑問，歡迎在右下方留言，一起交流！

====================================分割線================================

本文轉自d1net（轉載）