天天看點

223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD

作者:優享智慧方案
原文《大資料中心總體架構及資料倉庫頂層設計解決方案》WORD格式,共223頁約10萬字主要從大資料中心設計原則、大資料中心邏輯架構設計、大資料中心邏輯模型設計、資料倉庫設計(資料倉庫設計原則、主題域模型設計、概念模型設計、邏輯模型設計)、資料應用流程等進行建設。适用于售前項目彙報、項目規劃、上司彙報、招投标技術檔案使用。

來源網絡,旨在交流學習,如有侵權,聯系速删,更多參考公衆号:優享智庫

本項目中,資料庫設計與建設包括用于資料中心進行資料存儲、交換、應用的資料中心資料庫,和用于資料統計、分析、挖掘的資料倉庫的設計與建設。

資料中心是存儲XXX經過篩選、去重、整理後的核心業務、人員資料等資訊,整合了全市各類主體資訊資源和市場主體、人員相關的資訊資源,并進行統一管理和維護;資料中心通過深入挖掘資料價值,開發實作靈活、高效的資料查詢、業務報表、資料共享和資料交換等功能,為政務公開、業務協同、績效考核、決策支援、公共服務等提供資料保障。

資料中心邏輯架構設計

根據XXXXXXXXX工程建設規劃要求,基于統一的資料标準,建設以業務資料為基礎,以資料共享為主線,以提高資料資源價值為目标,涵蓋資料采集、資料治理、資料利用等各方面的,全市大集中的XXX市XXX工程資料中心,并使其成為XXXXXXXXX工程資料的存儲中心、管理中心、交換中心和服務中心。

223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD

資料中心邏輯架構圖

資料中心邏輯模型設計

在業務梳理、業務資料分析的基礎上,将XXX工程資料資源進行分析、歸整,形成XXX工程資料中心整體的資料邏輯模型。如下圖:

223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD

1、業務資料

業務資料也可以稱為生産資料,在業務開展過程中形成,主要記錄和存儲業務處理的原始資訊,是對XXX工程各業務系統業務處理過程所涉及資訊的全面反映,包括各類業務處理的業務管理資料以及政務管理資料,是以,業務資料是市場監督管理的核心資料。業務資料包括:行政許可資料、市場監管資料、執法辦案資料以及政務管理資料等。

2、決策支援資料

決策支援資料是按照面向分析主題,對業務資料進行二次加工形成的面向管理和決策服務的資料。XXX工程決策支援資料可以分為兩大類,一類是按照管理服務對象為核心重新組織的業務主體資料,例如市場主體資料、廣告資料、合同資料等;另一類是彙總統計、分析挖掘後形成的資料,主要是對報表彙總、資料綜合利用、資訊挖掘後形成的結果資訊的記錄。

3、共享交換資料

共享交換資料主要是實作XXX工程内各系統之間,以及與外系統之間的資料交換與共享。共享交換資料主要包括廣東省工商局、質監局、知識産權局交換資料、XXXXXX工程内部交換資料、各級政府及委辦局交換資料(各級市場監督管理系統與同級政府、委辦局的交換資料)、公共服務資料等。

4、基礎規範資料

基礎規範資料用于對整個系統基礎的資訊資源進行限制。基礎規範資料主要包括資源目錄體系、标準代碼資料、資料字典等。

5、系統管理資料

系統管理類資料是一種公共的、基礎的環境資料,一般包括系統環境資料,如系統環境參數資訊、系統運作狀态資訊等描述系統運作環境的資料,以及機構、使用者、權限、日志等描述業務運作基礎和環境的資料。

6、中繼資料

中繼資料是描述資料及其環境的資料,主要包括各類系統使用的共享中繼資料和各類系統自主中繼資料。

資料倉庫主題域模型設計

主題資料庫是經科學規劃,面向業務主體的資料組織存儲形式。主題庫的結構設計與應用處理過程相分離,能有效實作資料的關聯和共享,降低大型資訊系統的開發和維護成本。

系統設計中一般有三類主題組織形式:

  • 面向業務管理的資料主題

按照業務領域建立業務主題。

  • 面向管理服務對象的資料主題

按照管理服務對象來組織相關資料。例如:經濟戶籍主題、商品(食品)主題、價格(收費)主題、人員資訊主題等。

  • 決策分析主題

按照決策分析需求組織資料,例如:轄區經濟秩序評價主題、企業信用分類主題、人員績效考核主題。

資料應用流程

資料應用的總體流程如下所示:

223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD

根據應用需要,以及資料庫的規劃,将資料應用分為操作型資料處理、分析型資料處理。

操作型資料處理主要是針對OLTP類型的應用提供資料服務,主要是向業務資訊綜合應用系統中的核心業務類應用,如主體登記子系統、綜合監管子系統、消保維權子系統、行政處罰子系統等核心業務類應用以及部分的内部政務管理類應用提供聯機的資料處理服務。

分析型資料處理主要是針對OLAP類型的應用提供資料服務,主要是向資料中心系統、管理決策支援系統,如資料ETL過程、資料加工、資料統計分析、資料挖掘等提供資料處理服務。

1、一體化業務資料庫

從整體上看,操作型資料處理是資料資源的基本生産單元,綜合資訊化管理系統生成并使用各類業務資料。操作型資料一方面來自于各業務應用系統業務辦理過程的産出,另一方面來源于經資料共享交換自相關系統傳遞過來的外部資料。以主體登記為例,業務辦理過程産出的申請案資料,屬于操作型資料。

2、ODS資料

ODS資料即資料中心資料。根據定義,ODS(Operational Data Store)是資料倉庫體系結構中的一個可選部分,ODS具備資料倉庫的部分特征和OLTP系統的部分特征,它是“面向主題的、內建的、目前或接近目前的、不斷變化的”資料。

仍以主體登記為例,一家企業開設後,資料根據企業變更、遷移等各類業務不斷變化,随時間遷移會增加出相關的監管、年檢、處罰各類資料。對于主體登記,此時基于業務申請資料,産生實體資料(ODS資料)概念。一家企業的實體資料指通過曆次申請沉澱,內建各類附加資訊,反映企業目前情況的資料。此例反映出ODS資料由操作型資料不斷更新,面向主題,目前或接近目前并且不斷變化的特征。通過此例,也反映出對于市場監督管理資料倉庫建設,ODS是不可或缺的一部分。

3、ETL

由于操作型資料不直接産生,而需要經過篩選才能産生ODS資料。例如,企業的ODS資料中不需要業務申請的辦理人、辦理過程,因為其不直接反映企業現狀,這個篩選過程被稱為ETL過程(采集、轉換、傳輸、裝載)。通過分析型資料處理的資料ETL過程(采集、轉換、傳輸、裝載)将各類業務資料資源歸集到資料中心的ODS資料中。

4、分析資料

ODS本身可以提供主題資料,通過ODS資料的加工處理(統計定制和模型建立),可形成各類統計分析資料。

在ODS基礎上進行資料的分析挖掘、綜合利用,産生的分析型資料處理是資料資源的綜合利用的核心。

5、中繼資料

在資料倉庫領域中,中繼資料被定義為:描述資料及其環境的資料。

中繼資料有兩方面的用途。首先,中繼資料能輔助應用,如記錄資料項的業務描述資訊的中繼資料能幫助使用者使用資料;其次,中繼資料能支援系統對資料的管理和維護,如關于資料項存儲方法的中繼資料能支援系統以最有效的方式通路資料。具體來說,在資料倉庫系統中,中繼資料機制主要支援以下五類系統管理功能:(1)描述哪些資料在資料倉庫中;(2)定義要進入資料倉庫中的資料和從資料倉庫中産生的資料;(3)記錄根據業務事件發生而随之進行的資料抽取工作時間安排;(4)記錄并檢測系統資料一緻性的要求和執行情況;(5)衡量資料品質。

對中繼資料進行管理,可形成XXX工程資料資源目錄管理應用。

6、共享交換資料

通過資料中心的共享交換服務,對外提供資料交換和資訊服務,對内進行跨業務領域、跨系統的資料共享使用。

223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD
223頁10萬字大資料中心總體架構及資料倉庫頂層設計解決方案WORD

繼續閱讀