01 建設背景
早期資訊化發展過程中,企業為了解決各業務線的一些問題,通常按照垂直化的方式建設資訊系統,各系統之間是獨立建設的,導緻資料不互通、形成多個資料孤島。在後期拓展新業務、新市場的時候,無法利用之前積累的資料,進一步加劇了資料孤島的問題。分散的資料無法很好地應對前端業務變化,難以為企業的經營決策賦能,曆史積累的大量資料無法發揮應有的價值。是以亟需一套機制将企業的資料打通,整合分散在各個孤島的資料,形成完整的資料服務能力。
資料中台作為企業級的資料共享平台,是數字化轉型的基礎。可以将企業海量、多源、異構的資料整合,通過加工、清洗形成企業可以複用的資料資産,為前台業務提供資料資源和能力的支撐,進而幫助企業實作以資料驅動的精細化營運。資料中台不僅僅是一套軟體系統,更多的是一種強調資源整合、集中配置、能力沉澱的整套解決方案。各類資料技術是建構資料中台的基礎,能夠高效對資料進行統一采集、處理、儲存、計算、分析和可視化呈現,使資料最終與業務鍊條結合,真正轉化為企業核心資産。
02 儒安資料中台
1 整體架構
整體架構包含資料內建、大資料生産力平台、資料使能、資料應用四層。從資料內建采集業務資料庫或本地資料,通過大資料生産力平台進行統一加工處理,再由資料使能的各項能力,提供資料中台的能力輸出,最後到資料應用的各項業務中。
2 平台功能
平台采用以Hadoop生态為基礎的大資料開源架構,建構平台的存儲計算能力;通過對采購、生産、營銷、财務、人資等管理資訊系統的資料采集、清洗、治理和存儲,實作資料共享互通;提高資訊擷取利用效率與資訊集中管控能力。
(1)資料內建層
通過ETL抽取工具,對公司各業務系統離線資料進行全量和增量抽取資料到大資料倉庫,并通過CDC增量資料捕捉工具實時擷取關系型資料庫資料變化,采集實時資料,通過高性能消息隊列服務接收和傳輸資料,清洗融合進入資料湖倉庫,彙總到大資料平台資料倉庫,進而實作實時和離線資料的內建。
(2)大資料生産力平台
對采集的資料進行清洗,定時排程計算,根據數倉模型建立ODS、DW、DIM、ADS分層,提供規範化數倉模組化服務。通過大資料平台叢集提供的分布式計算、實時流計算和離線批處理計算能力,對資料進行加工、清洗、計算,進而完成資料倉庫的搭建。
(3)資料使能
提供商業BI可視化分析、使用者标簽畫像、資料挖掘分析功能,通過BI工具可進行互動式查詢和可視化展現,對資料進行鑽取分析。通過使用者标簽畫像對使用者進行精細化分類,實作業務的精細化營運。通過人工智能模組化平台進行資料挖掘,拖拽式選擇資料源、機器學習模型等元件進行模組化,零編碼完成資料挖掘的模組化、訓練和預測。
(4)資料服務層
提供資料服務功能,主要是為各類資料資源需求快速定制開發各類資料服務API接口,便于為業務資料查詢、業務統計資料查詢等服務提供支撐。
(5)資料應用層
将資料服務提供的接口,應用到各類業務方向,提供數字孿生、上司駕駛艙、智能運維、精準營銷、風控管理、智能巡檢等一系列資料應用服務。
03 應用場景
1 電力行業
通過建設企業資料管控機制、統一資料标準、規劃資料平台體系、整合資料應用需求,不斷提升企業資料資源的整體品質,并借助資料應用的各類系統,不斷挖掘企業資料資源價值。為商務智能、智能巡檢及風險預測提供資料資源支撐。
(1)建立資料管控機制,改進資料品質及資料安全
建立統一的資料管控機制,明确資料管控的權責範圍和溝通流程,促進跨業務、跨闆塊的資料品質提升及落實。通過常态化的資料品質稽查、整改、考評,保障資料準确性、一緻性、完整性提升。建立資料安全标準及等級分類,并對資料資源進行等級劃分,明确資料安全通路要求。
(2)統一資料标準,建構企業級資料模型
明晰人力資源、财務、物資、項目等基礎資料的資料标準,通過主資料管理等方式確定落地;實作公司範圍内共享基礎資料的标準化。設計定義企業級資料模型,明晰公司資料資源分類标準及核心主題域、主題、資料實體,彙總形成概念資料模型,為後續資料中台建設提供指導依據。
(3)規劃資料平台體系,支撐資料資源治理落地實施
規劃資料平台支撐體系,指導後續資料平台建設工作。在資料中台支撐體系中涵蓋企業級資料倉庫、資料內建、商務智能、主資料等。
(4)整合資料應用需求,提升資料資源分析應用能力
針對公司各層級不斷增長的資料分析應用需求,統一進行需求梳理和彙總,設計并定義公司範圍内的資料分析主題及名額體系,在建構商務智能平台的基礎上,推進資料分析應用需求的落地實施,充分挖掘資料資源的利用價值,提升資料資源分析應用整體能力。
2 煤礦行業
主要實作對礦區安全生産營運多模态海量資料的內建、治理、計算、存儲與管理,并基于業務主題的資料融合分析與資訊模組化,實作煤礦企業資料資産沉澱,通過統一資料标準、科學性資料應用,以提升煤礦在智能化綜合監控與安全生産智能綜合管控業務的資料總體價值,輔助企業以資料為基礎的科學性決策。
資料中台提供包括煤礦多源資料存儲與管理、煤礦資料融合、煤礦資料服務、煤礦資料治理與管控等四個方面,充分利用大資料基礎平台使能完成煤礦的資料底座建設。
(1)煤礦多源資料存儲與管理
煤礦資料管理在完整梳理煤礦資料資源的前提下,面向煤礦資料資源的特性完成資料資源池建構,為煤礦資料提供科學先進、層次合理的資料存儲架構,将梳理識别的資料資源逐個接入資源池,并完成處理。
(2)實作煤礦資料融合
煤礦資料融合實作了時序、空間、關系及交叉四種次元下的資料融合,可以根據實際業務需求形成對應的融合資料集。
(3)建設煤礦資料服務
提供包括資料搜尋、資料共享與交換、資料分析挖掘支撐、資料可視化以及煤礦業務支撐等資料服務功能,以滿足煤礦業務系統資料消費需求或國家部委資料采集需求。
(4)完成煤礦資料治理與管控
從資料标準、中繼資料、主資料、資料模型、資料品質和資料安全等幾個層面在大資料平台内對煤礦資料資源進行管控,以達到理清資料資産、完善資料标準落地、規範資料處理流程、提升資料品質、保障資料安全使用、促進資料流通與價值提煉的目标。
儒安資料中台深入結合在專網通信、融合排程、物聯網方向的産品及技術,以及在應急、園區、工地、能源等方向的多年實施經驗,持續為客戶創造價值,助力客戶成功進行數字化轉型。