原文《數字政府智慧政務大資料治理平台及大資料能力平台建設方案》WORD格式,主要内容為數字政府大資料治理平台及大資料能力平台。
更多參考
一、大資料治理平台
大資料治理工作從資料彙聚開始,到最終服務業務,主要包括以下幾個階段:
第一階段:資料彙聚,融合管理
從政務辦公網、感覺網、社會協同機關收集各類資料,形成大資料中心的資料基礎,并對彙集的原始資料開展基于資料管理和業務視角的治理及應用工作。
基于資料管理視角,對業務中繼資料、技術中繼資料進行集中采集和管理,從站位全局服務XX市大資料創新應用的角度梳理大資料資産,建構資料資源目錄和資料資産管理應用,達到資料資源的規範化和可視化;彙聚後的原始資料仍處于零散、不可直接使用的狀态,為資料使用者提供一站式的內建開發環境,進而滿足資料資源平台下,資料開發者進行ETL開發、資料挖掘算法開發、資料主題庫建設等需求;對資料融合處理的全過程通過品質管理工具進行管理監測,保障資料品質;因政府資料的機密性、高敏感性等特點,需對資料資源層中各資料項進行安全上的分類分級,確定資料使用合理、安全可控。
基于業務應用視角,對彙聚的基礎資料開展模型治理,通過資料清洗加工、基于業務背景及要求的處理加工、以及面向應用專題場景的開發,依次建構整合資料資源層、主題資料資源層、應用資料資源層,形成名額口徑一緻、統存統用的大資料資源層。
第二階段:基于資料,提煉抽象資訊,形成知識
因大資料涉及的來源廣泛、資料采集背景及方法多樣甚至特殊、複雜,導緻因不同的彙集場景等因素,各個實體對象往往存在多個ID,需要對ID間關系做計算,通過IDMapping,建立ID和實體人/物間的關系,進而串聯起實體人/物的屬性/行為資訊。
基于業務需求引導和對資料資源資訊的價值梳理,對資料進行進一步提煉加工和算法計算,将資料标簽化,建構基礎庫,支撐專題應用庫建設,并通過标簽中心産品對使用者及開發者開放。
第三階段:建構應用,服務業務
按照業務場景需求,将基礎庫、主題庫和專題庫等進一步組合利用,可建構起各類業務創新應用,如監控大屏、全息畫像、預警中心等應用。通過資料服務平台,可以把資料和标簽線上服務化提供給開發者和使用者。
資料治理流程
- 标準錄入
資料治理平台會包含部分5大庫資料标準,行标、部門标準等需由實施人員從客戶處采集後錄入系統
- 同步資料結構
由于資料治理過程需采集資料元并标準化,故需先将生産庫需橋接庫表的資料結構錄入前置庫
- 中繼資料采集
将資料結構采集入資料治理平台
- 标準化
實施人員為采集來的中繼資料挂接資料标準,标準化其中繼資料格式屬性、值域等
- 落标及資料橋接
部門管理者根據标準化的字段屬性,将生産庫資料橋接到前置庫
- 質檢及整改
中心管理者對前置庫資料進行品質檢查及整改
- 資料內建
中心管理者将質檢後資料內建到治理庫
- 邏輯質檢
中心管理者對治理庫的資料根據業務需求進行邏輯層品質檢查
- 資源挂載
部門管理人員對已完成資料治理的治理庫資料進行資源挂載
治理過程産出
通過資料治理工作後,形成的資料治理成果物。
大資料能力平台總體建設
本項目建設資料智能管理平台适用于分析型系統資料處理的各個過程,負責資料的加工處理以及加工處理過程資料标準、中繼資料和資料品質的管理。平台可以提供資料輸入、資料加工、資料輸出和貫穿資料處理各個過程的全流程、全生命周期的資料處理、資料治理和資料管控的一體化建設。
建設方案架構
資料治理平台覆寫了從标準、設計、采集、開發到使用,再到傳遞的全資料治理流程,為組織提供了一站式資料治理營運平台,可滿足資料共享交換、資料開發、資料營運多種應用場景,并通過建構資料工廠,實作資料治理的标準化、流程化與元件化。
平台功能架構
資料治理開發流程
資料标準管理
資料标準規範了業務術語,中繼資料,參考資料,基礎資料,名額資料的規範定義、擷取原則、管理要求等。 包括設計基礎類和分析類資料标準,制定資料标準管理制度和流程,明确資料标準管理組織和職責,以明确的組織、職責、流程設計為前提,調動業務部門、技術部門和系統技術團隊共同參與資料标準設計,建立全局資料标準流程,制定總體落地計劃,推動資料标準落地執行,增強内部對資料标準的了解,指導資訊化建設中對資料标準的參照。
資料标準管理規範
資料标準管理體系主要包含資料标準管理、落地實施機制、及資料标準管理平台維護三部分。
平台通過對資料标準管理、落地實施機制、及資料标準管理平台維護三部分進行資料資源管理,制定資料标準管理制度和流程,明确資料标準管理組織和職責,以明确的組織、職責、流程設計。落地實施機制從規範推廣、技術平台支撐兩方面保障;資料标準平台維護主要包括建設資料标準技術平台,支撐資料标準日常管理工作兩方面。
- 資料标準管理機制設計
設計基礎類和分析類資料标準,制定資料标準管理制度和流程,明确資料标準管理組織和職責,以明确的組織、職責、流程設計為前提,調動業務部門、技術部門和系統技術團隊共同參與資料标準設計,建立企業級資料标準流程,制定總體落地計劃,推動資料标準落地執行,增強對資料标準的了解,指導資訊化建設中對資料标準的參照。
- 資料标準分類規範
資料标準是對資料的名稱、含義、結構、取值等資訊的統一定義,達成對資料的業務了解、技術實作的一緻性。
基于資料模型理論将資料标準延伸至5個分類,涵蓋技術、業務多個視角。
業務術語:從一緻性、通用性等方面統一業務術語定義。
資料項标準:用來描述實體的某種屬性,包含資料項的名稱、編号、别名、簡述、資料項的長度、類型、資料項的取值範圍。
參考資料标準:識别參考資料,并建立參考資料的統一标準樣例,使參考資料可在不同系統中被使用而保持統一标準值。
主資料标準:主資料編碼是應用系統中的重要資料類型之一,通常用來描述業務操作的具體對象及其特征,注重唯一性,特征一緻性,穩定性及有效性。
唯一性:在一個系統,一個平台甚至整個範圍内同一主資料編碼要求具有唯一的識别标志(代碼,名稱,特征描述等),用以明确區分業務對象,業務範圍和業務的具體細節
特征一緻性:主資料在不同系統中,均按統一标準出現
穩定性:主資料相對穩定,本身屬性不會随交易過程而被修改
有效性:貫穿該業務對象的全生命周期過程,隻要該業務對象存在,則此資料不會喪失有效性
名額資料标準:需要收集名額的管理資訊、業務定義、以及次元定義,需要兼顧通用性和個性化,個性化方面支援各使用部門個性化定制
- 資料标準設計規範
以分析型應用建設和操作型應用內建為導向,兩套方法結合,建立資料标準設計體系
分析型應用建設導向:以分析應用名額範圍為依據,重點結合業務戰略及管理要求,自上而下追溯資料源,聚焦資料标準範圍。
操作型應用內建導向:自上而下的原則,基于實際業務流程及操作,重點識别跨業務、跨流程的內建點及關鍵步驟,分析提煉共享資料,完成業務流程和應用共享的資料映射,删除備援、非重點資料,精簡資料标準建設範圍。
平台建設内容範圍
在現有平台基礎上,按照項目建設目标,完善整個XX市大資料平台能力與功能建設,讓平台可以支撐整個XX市大資料管理與應用。具體建設内容包括:
- 建設資料治理平台
建設大資料治理子平台,提供資料标準管理、中繼資料管理、資料品質管理能力,實作對資料的規範治理與管理;提供資料工廠能力,實作對歸集的資料進行清洗、加工,支撐業務的資料應用需求。
- 建設AI能力平台
建設市級公共人工智能平台,提供包含機器視覺、語音識别、自然語言處理等基礎模型為主的通用AI引擎以及滿足城市交通、路政治理、城市安全、市場監管、智慧旅遊、智慧農業等智能場景應用所需的算法庫,結合機器學習算法、深度學習算法、多元分析,在海量資料中計算、分析和模組化來挖掘出資料價值,輸出統一的公共算法服務能力,統籌比對各部門聚焦的業務需求,更高效的從資料中擷取應用價值。
- 建設GIS基礎平台
建設資料地理資訊服務平台,依托市級空間地理底圖和各類圖層資訊台,建立統一的地名位址标準和資料庫,疊加“一标多實”各類要素資料,實作各類地理資料資源的有序關聯,完善地圖更新和轉換關聯機制,支撐全市各部門對地圖的統一服務需求。
- 建設資料可視化平台
建設資料可視平台,提供基于拖拽的強大格式定義、可視化報表與圖形化定義能力,支援使用者非常友善控制報表中内容的精确布局,也可以很友善地制作各種不同次元的報表内容,并将包括表格、地圖分布、文本内容等有用、關鍵的資訊內建在各種看闆裝置上(PC、Pad、手機、大屏等)。
- 建設安全管理平台
在資料安全保障的大環境下,建設資料安全管理平台支撐提升全市資料資源在資料加密、脫敏、分級分類、防洩漏、安全審計分析和權限管理等資料安全防護能力。
在大資料能力平台的建設實施階段,要同步實施密碼應用的實施,配合大資料能力平台的應用完成其密鑰應用實施,最終達到實際的密鑰安全應用需求,為大資料能力平台提供底層安全保障,并達到符合密鑰應用安全性測評要求。
- 建設統一運維平台
建設統一運維管理平台,提供統一監控運維功能,保證整個XX市大資料能力平台的穩定與高效運作,并提升資料資源全生命周期的保障執行力和運維效率。
- 建設可視化指揮大屏
建設可視化指揮大屏,基于全市公共資料歸集基礎,以XX市高品質發展實際需求為驅動,通過多源資料融合和多元全景分析,通過全局态勢可視,監測預警洞察能力,輔助提升城市發展科學決策水準。
平台總體功能架構
XX市大資料能力平台的總體架構由支撐體系(标準規範支撐體系、管理運作維護支撐體系、安全支撐體系)、網絡系統、資訊資源平台軟硬體系統環境、平台應用系統(資料支撐底座、資料交換平台、資料整理治理平台、資料目錄管理系統、AI能力平台、GIS基礎能力平台、可視化能力平台、資料資源共享門戶、資料安全管理平台、統一運維管理平台、可視化營運指揮大屏),以及資料資源中心(資料湖、基礎庫、主題庫、部門資料庫、鄉鎮資料庫、鄉村振興資料庫)組成。具體,整個XX市大資料能力平台的功能架構如下: