天天看點

資料即金錢,中小企業如何搭建資料平台分得一杯羹?

據作為企業的核心競争力,企業的dna。那麼什麼是資料呢?

it時代的it主要是資訊技術,即企業的一切資訊例如:企業員工資訊,客戶資訊,産品資訊等。資訊主要用于描述企業員工、描述客戶、産品等,通過資訊可以大緻了解員工,客戶,産品等的基本情況。

dt時代的dt主要是指資料技術。資料是用來準确衡量資訊的,例如公司有多少員工,大學以上占比,客戶總量,區域客戶量等。某種程度上可以這樣了解:資訊是一種概括的描述,通過資訊可以描繪出企業的大概情況,而資料可以精準的描述資訊,将資訊量化以展示。

當然了,資訊和資料的差別上述隻是我個人的了解,在我看來,單純區分二者的差別可能沒太大的意義,将二者結合起來,迎合時代浪潮,做好向dt資料時代的過渡才是關鍵。

資料平台作為企業資料化的一個重要組成因素,必不可少。現在有很多網際網路包括傳統企業等都在搭建自己的企業資料平台,通過資料平台量化企業各項經營名額,深度剖析企業經營狀況,為企業的科學經營提供幫助,進而實作持續盈利的目的。可以說,企業不管是做資訊化還是做資料化,都是為了幫助企業科學管理,科學經營決策,都是以實作持續盈利,最大化盈利的目的。

什麼是資料平台

我個人的了解是:資料平台是指将公司的所有資料以及關聯資料(例如行業資料,競争對手資料等)進行收集,按照規則處理,并根據特定的主題進行分析,展示,以便準确地剖析企業經營情況,達到指導公司科學經營和決策,并以實作企業持續盈利,最大盈利為目的。一句話,資料平台就是将企業的資料轉化為盈利。資料就是金錢,已經越來越成為各個行業各企業的共識。

資料即金錢,中小企業如何搭建資料平台分得一杯羹?

在資訊時代,其實也有一些資料平台的影子,并且一直持續到現在,例如報表;bi;資料倉庫;etl等這些技術很多企業或多或少的都接觸過一些,現在一些比較流行的詞彙如資料挖掘,hadoop,spark,大資料等,也都是圍繞資料相關的。所有這些技術有效組合,共同為資料平台建設提供技術支援。

如何建立資料平台

首先這裡要與大家分享的是中小企業的資料平台搭建之路,定位于中小企業,資料遠達不到海量,甚至企業都還未有曆史資料的積澱。在網際網路企業可能更多描述的大資料平台,資料挖掘等;而在銀行,電信等大型傳統企業更多的是資料倉庫,bi等,這些都是與中小企業有差別的。大資料、資料挖掘等對于技術人員的技術要求比較高,大型資料倉庫,專業bi軟體等往往需要大量的it資金投入。

而中小型企業的it技術人員和it投入都是短闆,加之資料量本身不大,故如何搭建針對中小企業的資料平台,還需平衡好企業自身技術實力,企業資料量,企業it投入三個主要方面。平衡好三者的關系是搭建起适合自身的資料平台的關鍵之一。

資料即金錢,中小企業如何搭建資料平台分得一杯羹?

1 定義資料源

個人認為資料平台搭建的一個前提是要有原始資料的積累。正所謂巧婦難為無米炊,沒有資料,資料平台何來?是以企業一定要重視資料,并積累資料。資料的來源可能是已有企業的it系統資料庫中資料,例如erp系統中的資料、通過各種管道收集的競争對手資料、手動錄入的資料等等,這些作為資料源,需要做到統一的整理存放。

2 定義資料分析主題

資料源有了,做飯的米有了,接下來我們要明确自己是要燒米飯還是米湯了。即我們要定義自己的分析主題,中小企業按照内部部門劃分分析主題就好,一般為人力主題,财務主題,銷售或市場主題,客戶主題等,另外需要規劃一個特别的主題,即企業駕駛艙,作為各個主題的入口,企業駕駛艙負責展示各個主題中總括的資料以及各個主題中最核心,企業上司最關心的資料等。

3 資料處理

有了資料源,有了資料主題,接下來就是要将資料源中的資料,在資料主題中進行有效的處理,這包括:抽取->轉換清洗->裝載(etl的過程)。通過etl工具抽取源資料,清洗掉無效資料,轉化資料主題需要的資料,然後在裝載到資料主題中,這樣就可以實作有效資料從資料源到資料主題的轉變。

4 資料展示

經過上述三步的處理後,資料已經存儲在資料主題中,接下來就需要通過report報表工具,将主題中的資料進行展示。當然有一些報表是直接查詢資料源中的資料(需求方迫切需要的),而未經過資料集市,這也是允許的,尤其是平台建設前期。

資料即金錢,中小企業如何搭建資料平台分得一杯羹?

經過以上四步,可以基本搭建起資料平台的雛形,此時的資料平台更多的隻是報表平台,未包含資料預測,資料監控預警,資料挖掘等深層次功能。其實在作者看來,資料平台的第一步一定是報表平台,彙總公司已有或是各部門需求的報表,進行統一整理,分類展示,然後在此基礎上進行一些深層次分析的資料挖掘、預測分析等。

當然,上述四步并不是串行進行的,可以在定義資料源的時候一并确定好資料分析主題,在了解抽取數邏輯的時候,并行進行etl的開發工作等。搭建資料平台,尤其是在資料平台初期,一定要有一個原則,即:快速疊代。

接下來我要說的資料平台搭建方法論相關,主要三點:

快速疊代

自下而上與自上而下結合

技術儲備與業務規劃要前瞻

首先快速疊代。資料平台搭建初期需要快速疊代,不斷實作各個業務部門的報表需求,分析需求,通過it技術解放各個業務部門手動出報表的重複作業,将各個業務部門吸引到資料平台上來。

這個階段甚至可以犧牲報表的性能,資料的規劃等(極端情況)。隻有各個業務部門參與進來才能共同推動資料平台搭建,要采用自下而上與自上而下相結合的方法:“下”指資料平台建設人員,各個部門的業務同僚等。“上”指it上司,各個部門的總監上司,公司的中高層上司等。

資料平台的搭建一定是公司全體人員共同努力的成果,隻有上下一心,共同參與,才能搭建起最符合企業自身業務實際、最有效、準确的資料平台。總的來說,資料平台的搭建需要遵循一個前提:曆史資料積累;一個原則:快速疊代;貫徹一個方法:自下而上與自上而下相結合,全員參與。

資料平台的技術架構

接下來要介紹的是根據中小企業的特點,平衡了技術、投入、資料量三要素後總結出來的搭建資料平台的it技術架構。

資料即金錢,中小企業如何搭建資料平台分得一杯羹?

縱觀該技術架構,可以看出以下特點:

層次性:從資料源到最後的展示分了多層,資料經過了多次轉化,看似複雜,其實是将資料進行了“瘦身”,最終展示的資料可能隻有幾條,幾十條,而這幾條資料來源于多資料源,可以有效地提高最終的展示效率,全量db的引入彙集了公司不同的資料源中資料,也統一了資料源類型;資料倉庫的建立是一個循序漸進的過程,建立資料平台不能沒有資料倉庫,但在資料平台初期不能太過關注,否則會違反快速疊代的原則。

開源:資料庫采用mysql資料庫,etl采用kettle,都是開源免費而且有廣大使用者群的技術,友善快速入手,且無經濟負擔。

時效:資料展示平台中的報表大多是非實時的展示,即從資料集市而來的,也有一部分需要實時展示的報表,這個時候采用的是直接查詢資料源的方法,即圖中白虛線。但當資料量增多的情況,直接查詢比較緩慢,或是跨多資料源比較複雜的情況下,可以考慮一些新的實時計算的技術,例如spark等,這在資料平台搭建的前期一般不會出現。

資料平台的搭建不能一蹴而就,不能作為一個短期項目,而應該作為一個長遠規劃、戰略規劃,不斷疊代,不斷優化等。同時也要注意時間的控制和裡程碑的建立,不能三年下來還是沒有資料倉庫的雛形,還是沒有完善的資料分析主題等。

随着時間的推移和資料的積累,會逐漸考慮大資料hadoop,spark實時計算的技術,這需要在資料平台建立的過程中循序漸進,并做好技術儲備。

資料平台團隊組建

明白了資料平台,懂得資料平台的建立方法,又清楚資料平台的技術架構,那麼最後的執行者即資料團隊如何組建呢?

首先資料團隊的組建方式兩種:一種是真實團隊式,即為資料平台項目而組建的團隊,從各個it,業務部門抽取,專人專職,這種成本比較高;另一種是虛拟團隊,即各個業務部門加it團隊出人,時間自由支配,給定工作量與時間節點。

虛拟團隊成本比較低,不影響各自的正常工作,但是對員工的積極性要求比較高,是以前面講過資料平台要全員參與,上下一心,上面跟進督促,下面環環相扣,充分把握時間與進度,完成資料平台的初期建設。資料平台經過了初期建設後,一定要有專門的團隊的專業維護,這樣便于以後資料分析,挖據,預測等的工作開展,也利于快速支援業務部門的需求。資料團隊的演變大緻如下:

資料即金錢,中小企業如何搭建資料平台分得一杯羹?

剛開始的時候,隻有開發跟業務人員采用,開發幫助業務人員出報表,解放業務人員的手動出報表,随着發展,後續會逐漸進入etl工程師,資料分析師,架構師,産品經理等角色,而是資料平台的功能也由一開始的出報表逐漸轉換為指導業務人員管理規劃業務,慢慢成為公司或是行業的專業資料産品,進而包裝成商業産品為公司實通過資料産品盈利。這是一個循序漸進的過程,不能一下子就企圖招全各方面人才,否則會造成極大的人力浪費,大幅增加資料平台的成本。

平台搭建誤區

資料平台的搭建其實是有一些誤區的,作者結合自身經曆真是企業案例,分享一下資料平台搭建的一些誤區,希望能夠起到警示提醒作用。

1 挖個大資料牛人

很多企業跟風搭建資料平台往往會選擇從bat等一線網際網路公司高薪聘請技術人員來幫助建立資料平台,而高薪請來的人員有可能會根據以往大資料平台的經驗和技術架構,建立起不符合企業現狀的技術架構。

2 直接交給專業公司

直接交給專業公司,或是将整個外包出去,這也是一個常見的誤區,外包公司等往往都是分期收費,按需收費,前期規劃不明确,變動頻繁,成本也會直線上升,更重要的是外包團隊不了解企業自身的實際情況,往往做出來的資料平台不符合企業自身特點。不過專業公司,外包團隊的行業經驗,建設經驗是很值得學習采取的。

3 a公司做的很好,直接copy

合作機關或是其他公司做的很好,往往采用直接copy的做法,這也是不可取的。

4 購買專業資料産品

購買專業的資料産品會提高工作效率,但是絕不會買到适合自己的資料平台,直接使用就可以。

綜上4個誤區,全是為說明一點,資料平台的搭建一定要切合企業自身的實際情況,量體裁衣,牛人的技術,專業公司的行業經驗,合作機關的建設經驗等都是可取,但是不能完全複制,要考量自身特點,有取有舍,循序漸進,條件允許的話利用專業的報表軟體、資料産品等提高工作效率,實作資料平台的快速搭建。

總結

中小企業資料平台搭建之路漫漫,但易起步開始,初期搭建(報表平台)一般3月足夠,在此基礎上不斷完善,将企業的資料提煉成金,為公司帶來持久的最大化盈利,希望本篇文章能夠為正在資料平台搭建之路上的同仁們提供幫助。

原文釋出時間為:2017-01-09

本文來自雲栖社群合作夥伴dbaplus

繼續閱讀