天天看點

數字化和資料平台——企業數字化轉型的技術架構更新

數字化和資料平台(Digital and Data Platform,縮寫為DDP),是BCG基于全球領先的數字化轉型實踐,總結出來的企業數字化技術架構參考模型。

企業數字化轉型在資訊技術應用上具有這樣的特點:

- 面向企業内外的使用者,以使用者體驗為中心,不斷創新數字化産品;

- 整合企業内外部資料,用資料分析形成業務洞察;

- 大量的業務流程實作了智能化、自動化;

- 業務能力表現為子產品化、可被調用的服務,在企業内外被快速整合,支援平台型組織和平台商業模式的轉型;

- 在數字環境下對核心系統進行更新換代。

在架構管理、業務流程設計、變革管理、IT傳遞模式等方面,建立完善的項目規劃和實施體系。

數字化轉型的技術架構要求

當今大多數企業資訊技術架構的靈活化程度不夠,不能滿足數字化轉型的要求:傳統豎井式建設的資訊系統修改困難、內建混亂;資料被割裂深鎖在各個系統内,不能被自由利用;企業缺乏自有的技術開發能力,無法快速響應業務需求。是以,企業迫切需要建設下一代資訊技術架構。

數字化和資料平台——企業數字化轉型的技術架構更新

DDP就是因這樣的趨勢,被BCG的架構專家們提出來的。它的主要特點是:

1、子產品化

對企業業務應用系統傳統的“巨石式”單體架構進行解耦,形成可以獨立建立、修改、互換、互連的更小的業務應用子產品,每個業務應用子產品代表一項業務能力,稱為“微服務”。

2、平台化

業務應用子產品之間進行連接配接的方式稱為應用程式接口(API),API不僅用于連接配接企業内部的業務能力,還可以将業務能力打包開放給企業外部,使企業業務平台化。

3、分層級

為了形成整合的使用者界面、業務能力及服務、應用系統以及資料視圖,将資料從傳統系統中解放出來,DDP橫向整合,分為基礎設施層、核心業務系統層、資料層、數字化應用層。

4、新技術能力

DDP具備新一代的技術能力,包括軟體開發和測試相結合,使開發人員可以面向生産環境持續內建和部署,建立提高軟體應用釋出效率的DevOps體系。此外,新一代架構暴露在網際網路環境下,必須提升系統和資料的網絡安全防護。

5、需要組織變革支援

實施DDP需要推進一系列營運模式和技術管理的組織變革。業務營運上要提升平台管理和服務治理的能力,全面融合業務和IT組織。IT組織内,要發展工程能力,重塑人員技能,還要改變傳統的IT供應商外包及合作模式。

數字化和資料平台——企業數字化轉型的技術架構更新

什麼是DDP?

DDP模型共包含六層,分别是數字化應用層 、資料與分析層、業務核心系統層 、雲基礎設施層、內建與API層、網絡安全層。

數字化和資料平台——企業數字化轉型的技術架構更新

1、數字化應用層

這一層是面向使用者使用的數字化界面,并且支援使用者互動提供服務。它的職責首先是實作全管道接入以及使用者的全旅程無縫體驗,例如統一身份認證,統一流程編排等;其次是基于微服務架構,提供細粒度的服務元件,例如在電商應用環境下的使用者管理、訂單管理、商品管理等元件;再者提供數字化通用技術元件, 來支援業務元件運作,例如處理身份的人臉識别、文字轉化的語音識别、支援智能互動的自然語言處理、支援智能決策的知識圖譜等。

2、資料與分析層

這一層也稱作大資料平台或者資料分析平台,面向業務應用提供資料服務,主要職責有:1)對來自不同管道(例如數字化營銷的私域和公域以及後端核心業務系統等)的各種資料,包括結構化和非結構化資料,做統一接入與整合、存儲與處理;2)建立資料治理機制,保證資料應用的品質;3)分析與服務,借助各類分析模型、算法和機器學習能力從資料中提煉洞察,基于這些洞察提供智能服務,例如個性化推薦、精準營銷、定價決策、風險預警等。這些服務以API方式被其他應用接入。

3、業務核心系統層

這一層和上述持續變化、靈活的數字化應用層相對應。我們将支援企業内較為穩定、不常變化、處理内部管控資訊記錄及業務流程的資訊系統稱為“穩态系統”,沒有必要或者短期内難以解耦為微服務化,這類系統歸屬于核心業務系統層,亦即從傳統企業資訊化時代繼承過來的“遺留系統”。上述兩層從概念上接近國内流行說的“業務中台”和“資料中台”,那麼本層可以認為是“業務背景 ”,比如大家熟悉的企業級解決方案——ERP系統、HR系統、CRM系統,以及各類業務執行系統(例如生産企業的MES系統、銀行證券的核心交易系統、保險行業的保單和理賠系統等)。

數字化和資料平台——企業數字化轉型的技術架構更新

4、雲基礎設施層

基礎設施是支援企業資訊系統運作的各類計算、存儲和網絡資源。傳統基礎設施的形式是實體的機房或資料中心,目前的主流形式則是由雲供應商以雲服務的方式提供。企業上雲最簡單的形式是應用系統運作在雲上的虛拟機,而更純粹的上雲方式則是應用系統的開發和管理都采用雲平台。雲提升了企業在基礎設施上支出的彈性,企業應用系統部署可以在私有雲、混合雲和公有雲等多種模式中選擇。

5、內建與API層

企業的各個服務、系統和層級之間需要實作互聯互通,內建技術和API起到粘合劑的作用。對内實作各個層級以及每層内各個元件間的資訊流內建;對外實作和各個生态合作夥伴間的系統資訊流內建。內建形式上,包括傳統的消息內建(MQ)和企業服務內建(ESB),以及數字化時代主流的API內建。

6、網絡安全層

數字化時代,安全風險已經滲透在上述各個層面,例如身份認證、通路控制、應用安全、資料安全、主機安全、網絡安全和實體安全等,在各個層級上都需要建立完善的安全機制。

核心系統的現代化

傳統的企業資訊化程序中,形成了若幹支援内部業務流程、記錄管控及合規相關資訊的核心業務系統,其中最有代表性的是廣為人知、實作跨職能內建的ERP系統。由于技術架構的限制,這類核心系統在業務操作中存在大量手工處理、使用者操作界面不友好、交易操作和資料分析分離而無法實作實時分析和決策支援、二次開發成本高、內建困難等問題。

企業實施DDP架構可以改變傳統核心系統的這些不足,切實推動從以流程管控為核心的資訊化轉向以使用者體驗為核心的數字化。傳統核心系統向下一代架構轉化的要點是“換核、解耦、上雲”。

要點一

換核

傳統核心系統的技術正在更新換代,例如市場上最主流的ERP系統SAP推出了采用新一代資料庫和開發技術的版本—S/4 HANA,不少使用舊版本SAP ERP的企業正在向S/4 HANA更新,進而建構新一代數字化核心;穩态性質的業務建議保留在核心系統内,形成精簡的核心。

要點二

解耦

對于支援使用者前端持續變化的業務,或者跨系統共用的業務能力,需要從核心系統中以子產品化的方式分離出來,這個過程稱為“解耦”,使企業應用架構形成“簡核心、松耦合”的形态。

要點三

上雲

企業應用系統的開發環境、開發工具和運作時環境從ERP系統内轉移到雲平台上,通過整合的排程中心來通路所有服務,在平台上實作應用內建、資料分析以及AI擴充。

下圖是BCG Platinion基于DDP模型,規劃并實施“下一代ERP”的方法:

數字化和資料平台——企業數字化轉型的技術架構更新

資料民主化

在傳統企業資訊技術應用中,由于技術和架構的限制,資料都被鎖定在各個資訊孤島裡。在數字化轉型的環境裡,資料從遺留系統中解放出來,成為企業級資産,在企業内各個團隊或部門可以根據需要,自主通路被授權的資料,徹底釋放資料資産的商業價值。

DDP的資料層內建了企業所有内外部資料,并将使用權“民主化”。企業分割的資料源,無論是存在于内部核心系統、實時交易系統,還是外部資料源,例如社交媒體、氣象資料等大資料,都可以通過自動化的方式被集中整合到“資料湖”裡,面向實際業務應用或分析的場景,對資料進行預處理(如資料虛拟化、資料集市等),然後快速、簡便、智能地生成需要的資料服務。資料層還可以接入業務事件中持續産生的流式資料,支援實時的業務響應。

數字化和資料平台——企業數字化轉型的技術架構更新

資料可得性和資料品質決定了資料應用的價值,有價值的資料是企業的資産。是以,企業需要建立良好的資料管理和資料治理體系。DDP的資料層還包括了主資料管理能力和資料治理工具。

API管理

API通過支援平台和生态系統業務模型以及靈活的業務流程,在數字化轉型和創新方面發揮着關鍵作用。微服務和API是組織建構平台和開發生态系統的兩個技術基礎。

随着DDP架構實施,組織内API的數量,不僅在IT部門增長非常迅速,在業務線内也不斷蔓延,對公共和私有API以及API主導的連接配接性的需求日益增長,推動了組織對API管理方案的需求。

數字化和資料平台——企業數字化轉型的技術架構更新

DDP需要具有這樣一些API管理能力:

數字化和資料平台——企業數字化轉型的技術架構更新

1、API網關

位于API前面的元件,是定義的後端API和微服務(包括内部和外部)的單一入口點。它充當保護器,加強安全性并確定可擴充性和高可用性。API網關接收所有API請求,确定需要哪些服務,并将它們組合成統一、無縫的使用者體驗。

2、開發者門戶

是API及其應用相關方之間的橋梁,用于定位、推廣和治理使用API的開發人員社群。它還提供了其他有用的特性,如運作時管理、API分析,并給出了API價值的估計。

3、API生命周期

成熟的工具可以支援軟體和API的開發生命周期,通過促進團隊協作和任務自動化,及時、高品質地傳遞。API生命周期的過程,可以與DevOps管道的各個階段形成映射關系。

數字化和資料平台——企業數字化轉型的技術架構更新

實施考量因素

DDP是企業數字化轉型在技術方面的抓手,實施DDP不僅是一個技術課題,更需要配套的組織、流程和人員技能變革。BCG在全球多個DDP規劃和實施項目中,總結出了六大關鍵成功因素:

因素一

數字化轉型的治理機制

數字化轉型不隻是IT部門的職責,業務人員和IT人員充分融合來創造數字化産品的靈活方法,是實施DDP的基本工作方式,組織内大規模靈活推進需要建立新的業務/IT治理模式。

因素二

用釋放資料價值的動力

來啟動架構轉型

今天,大多數企業的資訊技術應用都不是白紙一張,實施DPP需要尋找立竿見影的切入點。我們發現将資料從遺留系統釋放出來通常是企業最迫切的需求,資料層整合是DDP取得速赢的首選。

因素三

業務場景驅動平台建設

DDP服務于使用者場景,企業需要根據使用者旅程設計業務場景,例如數字化供應鍊、智能制造、實時智能推薦等,從業務場景對數字化平台的微服務能力提出要求。

因素四

打破組織壁壘

DDP需要建立平台和數字化産品的産品管理和營運體系,按照端到端的業務流程或者無縫重構使用者旅程的要求,打破企業内的組織壁壘。

因素五

培養人員新技能

改變IT運作模式

DDP更新了企業資訊技術的技術棧,平台化對企業技術開發能力提出了更高的要求,DDP需要諸如企業架構師、技術和資料架構師、資料科學家、DevOps工程師、全棧工程師等技術角色。企業應通過重新教育訓練,甚至招聘新人來獲得這些能力。同時,實施DDP還需要企業全面評估套裝軟體的定制、IT外包模式、代碼管理、開源化等政策。

因素六

明确成功的衡量标準

推進數字化轉型需要采取小步快跑的靈活方式,企業要建立起一套衡量标準來評估DDP架構轉型的進度、成熟度,以及帶來的業務價值,進而保證靈活疊代的有效性。

為了幫助企業實作DDP架構轉型,BCG建立了一支多學科團隊,包括行業專家、數字化戰略專家、架構專家、資料科學家、網絡安全專家、靈活教練等,幫助企業解決架構轉型中各方面遇到的難題。

作者:陳果 波士頓咨詢公司(BCG)Platinion董事總經理,BCG全球DDP核心上司團隊成員,企業解決方案亞太區負責人;負責企業數字化轉型的架構規劃和數字産品設計。

姜婧 波士頓咨詢公司(BCG)Platinion IT架構董事經理。

于川 波士頓咨詢公司(BCG)Platinion IT架構董事經理。

Daniel Jansen 波士頓咨詢公司(BCG)Platinion首席架構師。

蘇賽傑 波士頓咨詢公司(BCG)Platinion進階架構師。

繼續閱讀