天天看點

《機器人作業系統ROS原理與應用》——1.1 宏觀

本節書摘來自華章出版社《企業大資料系統建構實戰:技術、架構、實施與應用》一 書中的第1章,第1.1節,作者:呂兆星 鄭傳峰 宋天龍 楊曉鵬,更多章節内容可以通路雲栖社群“華章計算機”公衆号檢視。

大資料定義多種多樣,其中較為典型的有:

研究機構gartner給出了這樣的定義:需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來适應海量、高增長率和多樣化的資訊資産。

麥肯錫全球研究所給出的定義:一種規模大到在擷取、存儲、管理、分析方面大大超出了傳統資料庫軟體工具能力範圍的資料集合,具有海量的資料規模、快速的資料流轉、多樣的資料類型和價值密度低四大特征。

筆者認為:大資料是指無法用正常資料工具軟體進行擷取、存儲、計算和管理的資料集合,是需要新it技術才能使其具備更好的洞察發現力、流程優化能力,并提供智能決策力,以此來适應大量、高增長、多樣化和有價值的資訊資産。

大資料具有如下特征:

容量(volume):傳統資料庫容量一般以mb和gb為計量機關,而大資料是以gb、tb和pb為計量機關。

種類(variety):資料類型多種多樣,包含結構化、半結構化和非結構化,例如文本、日志、圖檔、音頻和視訊等。

速度(velocity):指資料的響應速度,包括資料擷取速度和資料輸出速度都要優于傳統資料庫。

真實性(veracity):大資料存在噪聲較多,需要經過篩選、填充和删除的過程,確定資料的真實性和有效性。

複雜性(complexity):資料量巨大,來源多管道,包括自有資料、網絡資料、合作夥伴資料,同時資料品質和類型又加深了大資料的複雜性。

價值(value):大資料蘊藏着既定的價值,價值程度取決于應用資料的對象,通過合理的商業目标即可挖掘出資料潛藏的金礦。

大資料平台技術與傳統資料庫的差異如表1-1所示。

《機器人作業系統ROS原理與應用》——1.1 宏觀

大資料具有很多傳統資料庫不具備的優點,那麼大資料可以解決哪些問題?

連接配接資料孤島:将企業各個孤立的資訊孤島進行連接配接,實作資料資訊正向和反向的查詢,由原來的單一資訊查閱,變為全景式的鳥瞰企業資料内容。

整合資訊資源:通過虛拟化技術,整合it資訊資源,有效地展現軟硬體和網絡資源的使用和計算情況,更加合理地規劃和使用it資源。

内部效率提升:通過資訊孤島的連接配接,縮短了往常資料提取、存儲、整合和計算的時間,根據業務需求的難易程度,通過合理配置設定離線和實時計算,能夠大幅度提高内部效率。

供應鍊優化:資料連接配接不是局限于企業内部,而是延伸到企業的上下遊,為合作夥伴提供資料共享平台,有利于提升供應鍊上下遊的協同合作,進一步提升供應鍊效率和效果。

企業業績增長:大資料的模型算法包含有指導和無指導兩種類型,有指導的算法能夠幫助企業優化現有的業務流程,從中找到業務規律,更有效地幫助業績增長,而無指導的算法結合全景式的資料,可以幫助企業找到業務增長或創新點,更好地幫助企業拓寬業務範疇。

使用者體驗提升:使用者包含内部和外部,内部指企業自有的管理人員以及員工,而外部則包含企業面對的客戶,以及供應鍊上下遊的合作夥伴,通過大資料全景式的資料集市,為企業使用者提供更加完善和流暢的服務,有助于提升整體的體驗。

産業服務全景化:企業除了縱向地與上下遊夥伴進行資料共享,還有另一種狀态,即通過橫向與其他夥伴進行資料連接配接,進而實作全産業的全景資料化。因為大資料最重要的理念是開放、共享和協作,隻有連接配接更多有效有價值的資料才能使企業甚至整個産業屹立不倒。

了解了大資料能夠解決的問題,那麼企業的大資料戰略應該是什麼樣子的,應該如何對企業大資料戰略進行定位?我們需要考慮以下問題,如圖1-1所示。

《機器人作業系統ROS原理與應用》——1.1 宏觀

企業大資料戰略定位可以自下而上或者自上而下地來進行确定,兩種方式各有利弊,自下而上容易造成總體戰略不明确,進而導緻整體戰略定位的失敗,但自下而上的方式通常是更容易落地執行的辦法;自上而下則相反,根據企業在市場中所處的地位、競争對手情況、宏觀經濟環境、供應鍊狀态和市場使用者的實際需求,大資料的總體目标更能符合企業總體發展戰略,但如果戰略沒能貫徹到底或者在沒有獲得認可的情況下,這個戰略最後是很難落地執行的。是以通常是以自上而下為主,通過自下而上的辦法來修正總體大資料戰略定位的方式。不論企業最終以哪種方式來确定大資料的戰略定位,以下内容都是必須在制定戰略時考慮的:

(1)考慮企業有什麼資料

資料分為三種類型,第一方資料(企業自有資料)、第二方資料(合作夥伴資料)和第三方資料(網際網路資料),企業需要評估自身具備的資料條件(包括資料來源管道可靠性、資料更新及時性、資料品質有效性、資料内容完整性等),來考慮或者設計規劃總體大資料的戰略定位,正所謂巧婦難為無米之炊,資料是大資料戰略的根本,不清楚資料源的情況,就無法确定整體的大資料戰略定位。

(2)通過哪些技術實作

大資料的處理技術多種多樣,有硬體虛拟化技術、資料存儲技術、資料檢索技術、資料計算技術、資料挖掘技術和分布式協調技術等,同時每種技術中也包括各種不同功能的元件,企業應該根據自身的實際需求來選擇,盲目貪多,容易導緻架構不清晰,甚至影響整體的運作效率,拖累企業大資料戰略程序。

(3)如何保證大資料順利完成

有了資料源和實作技術,企業還需要考慮如何保證大資料戰略定位的有效落地,是以,需要加入監督體系,主要是從應用需求的角度出發,明确應用需求的管理模式、管理職能和管理流程,監督體系還應該包含獎懲機制,有效的獎懲機制能夠促進整體戰略更加快速的推進。是以,通過相應的監督管理機制才能確定整體戰略執行的有效性、持續性、穩定性和高效性,同時也可避免技術資源和人力資源的分散所導緻的整體戰略執行效率低下等問題。

(4)企業大資料的應用政策有哪些

企業大資料的應用政策是與各個職能部門相關的内容,應用政策需要從各職能部門中發起,同時又需要符合企業總體的大資料戰略定位,應用政策的把控一般是通過pmo(項目管理辦公室)來實作,而pmo需要對企業總體戰略以及大資料戰略定位非常清晰,這樣才能有效地把控各個職能部門的應用政策能夠在遵循總體方針的前提下,有效地執行下去,讓大資料的應用戰略真正地為企業帶來效率和效益提升。