天天看點

我國企業大資料的發展與應用總覽

近年,企業級大資料應用逐漸普及,消費者行為分析、精準營銷、新業務新産品推廣、廣告推送、代言人選擇、社交媒體、可視化、溢價收益、庫存管理、信貸保險等相關應用不斷豐富。伴随着一批緻力于商業和企業應用服務的大資料初創企業迅速成長,大資料更廣泛地應用到各領域企業中。

作者:佚名來源:資料觀|2016-12-02 19:42 收藏 分享

一.我國企業大資料産業發展現狀

飛速發展的大資料産業除了改變人們生活的方方面面、促進社會快速進步之外,也為企業這個社會主體帶來了更為直覺和有效的影響。

我國企業大資料的發展與應用總覽

業務轉型是目前大多數企業的普遍需求,大資料分析不僅可以優化通路、加快決策、最大程度提高可用性,還可以輔助業務轉型。

目前,我國企業中已經有越來越多的高管開始關注it,不僅限于cio。在資訊爆炸的時代,企業需要更多的資料科學家來進行資料分析,甚至一些企業還設立了cdo(首席資料官)的職位,對大資料和分析進行單獨的管控。這相對于沒有資料提供參考,往往依靠直覺和過往的經驗作出決策的企業,他們很容易誤入不可挽回的誤區,而利用大資料和分析則可以更好、更快速的對業務和市場把脈。

雖然大資料應用在新興企業中受到高度重視,但未來企業大資料交易最大的應用前景會在傳統行業。這不僅是由于幾乎所有傳統産業中的企業都在快速網際網路化,更是因為傳統産業仍然占據了國内生産總值的絕大部分份額。大資料交易會幫助這些傳統企業更快地完成轉型更新。

目前在傳統行業中,金融、電信、制造、交通、醫療類企業已經成為大資料分析使用的主力。以制造企業為例,傳統制造企業可以通過大資料交易獲得市場終端銷售情況,了解自身以及競争對手的市場表現以及消費者的喜好類型;通過使用者購買習慣及購買評價的資料獲得,可以針對不同類型、不同區域消費群體實作定制化生産的精準營銷;通過交易獲得的産業鍊資料,可以降低生産成本,提升企業整體競争力。

而以新興的網際網路金融為例,通過使用者資訊的獲得,可以從财富、安全、守約、消費、社交等幾個緯度來綜合評判,為使用者建立信用報告,形成以大資料為基礎的海量資料庫,以此幫助企業降低信貸風險。

此外,還有更多的企業正在使用着大資料分析幫助企業決策,提升使用者體驗,并以客戶為中心造就着越來越多的新型商業模式。

(1)什麼是企業大資料

企業大資料最核心的價值就是企業在對于海量資料進行收集、存儲和分析之後,通過對這些資料的挖掘與分析,為提高企業營運效率、業務價值和開拓企業新業務提供參考與導向,并為企業未來發展戰略提供支援,實作企業整體競争力的提升。相比起現有的其他技術而言,大資料的“廉價、迅速和優化”使其綜合成本是最優的。

(2)中國企業大資料産業發展軌迹

我國企業對大資料的應用主要可分成三個階段:在2010年到2012年之間的第一階段,大資料應用關注資料和機器的關系,由于局限于傳統的it思維,隻不過在很多小資料應用上貼上了大資料标簽;從2013年開始的第二階段關注資料與人的關系,可視化和預測應用成為了市場的寵兒;2014年之後,大資料應用的重點已經轉向分析資料和資料之間的關系,這要求對企業大資料應用進行開放式的創新:從資料的開放、共享和交易,到基礎處理和分析平台的開放,再到價值提取能力的開放。

而随着企業業務外延從企業内部不斷向外部、向企業所處的産業鍊和生态圈擴充,企業的資料視野也越來越寬,從主要關注企業内部資料,已經延伸到關注社會資料,包括交易的資料、人工合成的資料、機器的資料、社會網絡的資料等在内的企業資料在不斷被重新認識。

(3)企業大資料發展的意義

對于企業而言,應用大資料解決方案主要有三方面的價值。第一,能夠處理以前無法處理,或者無法實時與快速處理的海量資料,包括結構化和非結構化資料。第二,企業可以利用大資料解決方案,對分布于社交網絡、視訊網絡等各種網際網路中的海量資料進行提取、整理、分析,并進而從這些新的資料中擷取新的洞察力,将它與已知業務的各個細節相融合,促進企業産品和服務的營銷。第三,還可以利用自己積累的或存在于網際網路中的大資料,推出各種新産品和新服務。

企業大資料的意義除了重塑客戶行為,利用客戶互動資料重塑客戶行為,這類資料使企業可以預測和引導市場尚未出現的需求,進而創造新的利潤外,更多的是增強了資料生态系統的視野,因為企業可以從生态系統中的其他企業處獲得補充資料,這種生态系統以适當的合作戰略為基礎。

(4)企業大資料發展存在的問題

①仍待落地

随着大資料的概念不斷宣傳推廣,現在的企業如果不談大資料,就會讓人感覺落伍,讓人感覺企業的管理水準已經落後于時代了。這個現象,固然有理論先行于實踐導緻的過分概念化的問題,雖然企業确實已經感覺到對資料進行深入使用來幫助企業增強核心競争力的迫切需要,但如何應用好這些資料仍還處于摸索階段。

②資料孤島

資料孤島是企業大資料行業發展面臨的最大問題。一方面,各行業、企業和政府都在竭盡所能地采集資料、占有資料和利用資料。另一方面,大部分資料被各個行業、企業、機構和政府封鎖起來,形成一個個“資料孤島”,無法自由流通,資料之間缺少連接配接。

③技術鴻溝

在當下資料為王的時代,企業若要利用現有資源争取更大的市場,必須自主掌握消費者的大資料。然而,大資料的有限接入産生新的壟斷和技術雙重鴻溝,大資料的應用同樣存在着接入和技能的雙重鴻溝,這不僅浪費了資料資源,也給企業精準營銷帶來了難題。

④中小企業之殇

對于中小型企業來說,大資料很可能是他們不願被揭起的“傷疤”:大資料技術是目前對企業發展起着至關重要的技能,但是對他們來說,資金的缺乏和資料聯系的不成熟卻使他們無法很好地使用大資料。

大資料不隻是大企業的專利,更是小企業的機遇,在很多情況下,大資料都非常适合小企業使用。但是如果企業無法靈活地采取行動,即使再高明的見解也變得毫無價值。小企業通常有靈活的優勢,這令其可迅速高效地完美适應資料驅動的趨勢。以智能化、結構化的方式執行資料戰略,是區分大資料驅動企業與基于臨時想法簡單利用資料的企業的最大分别。對于小型、靈活和處于發展狀态的企業來說,這些基礎與那些已經利用大資料多年的行業巨頭來說并無明顯差異。

⑤企業應如何利用大資料

在大資料時代,企業面對衆多新的資料源和海量資料,能否基于對這些資料的分析進行決策,進而将其變成一項企業競争優勢的來源,這是對企業高層的挑戰。面對大資料給企業帶來的諸多好處,企業目前面臨的問題是要如何擷取與分析資料,以使企業立于不敗之地。網際網路是大資料的一個主要來源,然而對一些線下的傳統企業來說很難獲得,對于企業而言可以采取以下政策獲得資料化支援。

首先、企業必須作出文化層面的調整,建立資料驅動決策的文化。大資料首先是個理念問題,即通過客觀的,理性的資料來提供決策的依據。在傳統的企業,尤其是取得過成功的企業,往往形成了固定的企業文化和奉為經典的管理經驗,流程和制度。建立資料驅動決策的文化,就必須打破原先的以經驗,流程和制度為核心的決策機制,将決策的過程資料化,客觀化和扁平化。曆史經驗在新的競争市場和規則下,往往已經滞後了,特别是進入網際網路時代後,網際網路以客戶為中心,以生态鍊為運作模式的理念,已經對傳統企業造成了颠覆性的影響。是以,隻有通過建立以客觀資料為驅動的扁平化的決策機制,才能更好地應對快速變化的市場和客戶要求。

第二、企業要建立對應的資料管理中心的組織架構。沒有一個相對完整和專業的資料管理團隊,是難以發揮出大資料分析的功效。資料本身隻是資訊,如果不能将這些有用的資訊轉化為對企業有價值的決策依據,資料就隻是一堆存放在倉庫的廢紙。要想把資料和資訊轉化成對企業有用的決策資訊,就必須建立專業的資料管理團隊,這個團隊包括資料采集和處理人員,資料分析人員和資料溝通和展示人員。

第三、企業要建立頂層的資料架構設計并加以實施。在規劃資訊化系統建設時,需要有頂層的資訊化戰略規劃,其中核心一環是資料架構設計和實施線路圖。資料構架設計的主要目的,是確定企業的所有資料環節有統一的标準,有唯一的資料設計字典,有核心的主資料管理系統,進而保證企業資料的完整性,一緻性和有效性。在有了頂層的資料架構設計後,建立合适的實施線路圖,可以幫助企業在清晰的資料架構架構下,逐漸建設各個資訊化系統,

確定同一對象對應唯一的資料源,消除資訊孤島,提升資料的一緻性和有效性。

第四、企業要建立完善的資料治理體系。如果沒有完善的資料治理體系,即使有良好的頂層資料架構設計和嚴格的系統實施,如果缺乏資料治理的體系,資料的品質很快就會大失所望,也就難以完成驅動決策的使命,即出現“rubbishin,rubbishout”的糟糕狀況。良好的資料治理體系,覆寫資料完整的生命周期管理,包括資料所有者的職責和權利、資料格式和标準、資料建立和變更流程、資料使用制度、資料安全制度和資料銷毀流程等。

第五,企業要建立合适的資料分析的技術平台和團隊。這一部分,屬于傳統資訊部門熟悉的領域,一般是難度最小的部分。其中的困難點,是如何設計相容傳統内部資料分析和目前在不斷出現的海量外部資料分析的需求,最有效地低成本建立技術平台,并且能滿足未來擴充性的要求。

最後是與大資料分析和挖掘公司合作。目前,許多傳統企業沒有分析海量資料的能力,但是可以與目前市場上已經有的如用友、ibm等一批提供大資料分析和挖掘服務的公司合作,這是傳統企業進行大資料分析可以借助的力量。

總而言之,企業應該做好資料管理,要不然隻是一家囤積資料的公司。把大資料轉化為落地的可以為企業發展提供建議的“小數字”。企業如果能夠站在大資料這個風口上順勢而為,也許就真的可以騰飛起來。

二.企業大資料産業相關政策

由于大資料産業的飛速發展,中國在此領域的相關立法和政策顯得相對滞後,而針對企業大資料産業的政策立法就更加缺失。雖然國内目前缺失對于大資料産業的相關立法,但是相關工作已經在緊張的籌備中,在國家層面的大資料産業立法具體政策沒有出台之前,各地方政府已經先行一步,紛紛推出鼓勵發展大資料産業的政策細則。

以貴州為例,2014年下半年,貴州省已經将發展大資料産業上升為貴州全省戰略,出台了《關于加快大資料産業發展應用若幹政策的意見》和《貴州省大資料産業發展應用規劃綱要(2014~2020年)》,并成立以省長為組長的貴州省大資料産業發展上司小組,各項工作已經有序展開。

鑒于中國在大資料相關法律法規方面的基礎較為薄弱,諸如個人隐私的界定、資料安全使用規範、資料開放标準等缺項嚴重。短期内很難完成立法。預計2015年,在已有的法規基礎上增加條文的可能性較大。此外,大資料标準制定工作有望取得突破進展,資料交換和

資料交易标準征求意見稿有望在2015年出台,但被業界接受、認可和執行還需要時間。因為參與标準制定的多是第三方和中小企業,大企業的參與積極性不高。

針對企業大資料産業發展現狀,為了使得未來相關立法切實落地,在制定政策、規章制度時應更多的運用ppp模式,保障以企業為建設和營運主體,将政府、社會的資料彙聚和管理,建立城市級開放資料的統一管理平台。

(1)市場需求及市場規模

①中國企業大資料規模分析

企業是國民經濟的細胞,它的生産和經營決定着中國社會經濟活動的生機和活力,企業是社會生産和流通的直接承擔者,企業經濟效益的增長與國家經濟實力的增長、人民物質生活水準的提高息息相關。

根據國家工商管理總局資料,截止2013年底,中國企業總數達到1527.84萬家,國有企業、中型企業、小微企業占比分别為1%、22.4%和76.6%。而從2014年3月份,中國實行商事制度改革以來,新登記注冊企業戶數也呈現快速發展的态勢,這期間,每月新注冊企業維持在30萬戶以上,平均每天有超過1萬家企業誕生,随着中國整體經濟環境的趨穩,預計這一态勢仍将維持。

雖然國有企業特别是中央管理企業,在關系國家安全和國民經濟命脈的主要行業和關鍵領域占據支配地位,是國民經濟的重要支柱,但是超過全國企業總數99%的中小企業卻是國民經濟和社會發展的主力軍,是創新和活力的源泉,是推動經濟轉型更新的重要力量。

相對于中小企業,國企顯然具有更多的資料沉澱,但是多年來對于資料深度、有效的使用卻仍處初級階段;資源較少的中小企業在資料的應用方面則顯得更加緊迫,因為這事關企業的定位、産品的銷售、營運的好壞……對于企業的存亡至關重要。相信随着國内企業在大資料方面意識和技術的不斷進步,大資料在企業的運用将更加廣泛,企業除了關注于自身資料的收集和儲存外,更多服務于各行企業的大資料公司也将大量湧現。企業大資料産業也将迎來快速發展的黃金時期。

随着中國企業對于大資料應用的不斷加深,中國企業級大資料産業将迎來快速發展階段。據預計,到2020年,中國企業級大資料市場應用規模将突破200億元。

②企業大資料需求分析

2014年,大資料進入快速發展的第一階段。需求方面,企業對于大資料的需求持續增強,各類大資料應用逐漸落地,并成為産業鍊的核心,企業着力培育自身的資料資産。供給方面,新興技術推動大資料技術環境趨向成熟,行業大資料應用漸漸豐富,大資料生态系統多元化程度加強。就企業自身而言,内部資料是其向資訊化、智能化企業轉型的基礎。如今,企業日資料産生量動辄多少tb,而我國企業級資料中心資料儲存量正在快速增長,其中,非結構化資料量更是呈指數倍增長,但是如果能有效的對于此類資料處理和分析,非結構化資料将對我國1000多萬家企業提供非常有價值的資訊。

(2)競争格局

①競争格局現狀

企業大資料在中國的發展仍處初級階段,雖然企業對于資料的運用由來已久,但是對于資料的深度挖掘,以及對海量資料相聯系所形成的更加科學的結果利用仍有待提高。2014年中國大資料市場的供給結構初步形成,并與全球市場相似,呈現三角形結構,即以百度、阿裡、騰訊為代表的網際網路企業,以華為、聯想、浪潮、曙光、用友等為代表的傳統it廠商,以九次方、億贊普、拓爾思、海量資料等為代表的大資料企業。

2014年,大多數涉足大資料領域的企業總體發展态勢良好,企業大資料業務收入穩步提升。提供大資料服務的企業并不集中,除了谷歌、ibm、亞馬遜、微軟等大型企業外,衆多初創企業參與其中,為大資料發展帶來了新的活力。大資料相關産品和服務不斷成熟,企業越來越多的基于雲計算面向大規模分析和應用開發大資料服務,傳統it巨頭不再限于在原有解決方案基礎上拓展大資料業務,而是通過一系列并購投資來提升大資料解決方案服務能力。

2014年,跨國發展的大資料企業數量明顯增多。以中國市場為例,2014年除了ibm、微軟、谷歌、甲骨文、亞馬遜等已經在中國市場站穩腳跟的傳統企業外,teradata、splunk、cloudera、tableau、hortonworks、10gen等大資料企業也紛紛入駐。這些企業憑借成功經驗和成熟的應用模式,迅速地敲開中國市場大門,迎合使用者需求。

②競争格局展望

資料采集和跨界競争越發白熱化

如今,在資料采集領域,網際網路企業根據自身的優勢展開激烈的競争。資料源主要包括網際網路資料、政府資料和企業資料,由于後兩類資料的采集主體一般不變,市場相對穩定,而對于網際網路資料,各大網際網路企業已經認識到資料的價值所在,将在資料擷取入口等方面展開激烈的競争,小型企業在該領域很難有所作為。百度、騰訊、阿裡等龍頭在搜尋、社交和電商方面的資料優勢依然穩固,跨界整合擷取資料資源将成為這些企業的戰略方向。

資料存儲和交易呈現平台化競争趨勢

在資料存儲和交易領域,大型企業将占據一定的優勢。2015年,随着雲端資料中心的不斷推進和企業存儲能力的開放,資料存儲将會更趨于集中,大型資料平台将應運而生。傳統大型it企業和網際網路企業将依靠其技術能力和資料資源,占據絕大多數的市場佔有率。

資料分析和可視化呈現多樣化、定制化競争趨勢

在資料分析和可視化等領域,各類企業特别是中小企業将成為市場的主力。一方面,大資料技術的開源特征和企業級計算能力的開放使得大資料分析的技術門檻逐漸降低;另一方面,應用需求的多樣化使得定制化服務成為主流,小型企業能夠獲得更多的市場發展空間。如今,越來越多的大資料初創企業将聚焦在該領域,提供各類多樣化定制化的服務方案。

本文轉自d1net(轉載)

繼續閱讀