天天看點

數字政府智慧政務大資料治理體系建設方案WORD

作者:優享智慧方案
原文《數字政府智慧政務大資料治理體系建設方案》WORD格式。

資料标準管理

資料标準規範了業務術語,中繼資料,參考資料,基礎資料,名額資料的規範定義、擷取原則、管理要求等。 包括設計基礎類和分析類資料标準,制定資料标準管理制度和流程,明确資料标準管理組織和職責,以明确的組織、職責、流程設計為前提,調動業務部門、技術部門和系統技術團隊共同參與資料标準設計,建立全局資料标準流程,制定總體落地計劃,推動資料标準落地執行,增強内部對資料标準的了解,指導資訊化建設中對資料标準的參照。

資料标準管理規範

資料标準管理體系主要包含資料标準管理、落地實施機制、及資料标準管理平台維護三部分。

平台通過對資料标準管理、落地實施機制、及資料标準管理平台維護三部分進行資料資源管理,制定資料标準管理制度和流程,明确資料标準管理組織和職責,以明确的組織、職責、流程設計。落地實施機制從規範推廣、技術平台支撐兩方面保障;資料标準平台維護主要包括建設資料标準技術平台,支撐資料标準日常管理工作兩方面。

  • 資料标準管理機制設計

設計基礎類和分析類資料标準,制定資料标準管理制度和流程,明确資料标準管理組織和職責,以明确的組織、職責、流程設計為前提,調動業務部門、技術部門和系統技術團隊共同參與資料标準設計,建立企業級資料标準流程,制定總體落地計劃,推動資料标準落地執行,增強對資料标準的了解,指導資訊化建設中對資料标準的參照。

  • 資料标準分類規範

資料标準是對資料的名稱、含義、結構、取值等資訊的統一定義,達成對資料的業務了解、技術實作的一緻性。

基于資料模型理論将資料标準延伸至5個分類,涵蓋技術、業務多個視角。

業務術語:從一緻性、通用性等方面統一業務術語定義。

資料項标準:用來描述實體的某種屬性,包含資料項的名稱、編号、别名、簡述、資料項的長度、類型、資料項的取值範圍。

參考資料标準:識别參考資料,并建立參考資料的統一标準樣例,使參考資料可在不同系統中被使用而保持統一标準值。

主資料标準:主資料編碼是應用系統中的重要資料類型之一,通常用來描述業務操作的具體對象及其特征,注重唯一性,特征一緻性,穩定性及有效性。

唯一性:在一個系統,一個平台甚至整個範圍内同一主資料編碼要求具有唯一的識别标志(代碼,名稱,特征描述等),用以明确區分業務對象,業務範圍和業務的具體細節

特征一緻性:主資料在不同系統中,均按統一标準出現

穩定性:主資料相對穩定,本身屬性不會随交易過程而被修改

有效性:貫穿該業務對象的全生命周期過程,隻要該業務對象存在,則此資料不會喪失有效性

名額資料标準:需要收集名額的管理資訊、業務定義、以及次元定義,需要兼顧通用性和個性化,個性化方面支援各使用部門個性化定制

  • 資料标準設計規範

以分析型應用建設和操作型應用內建為導向,兩套方法結合,建立資料标準設計體系

分析型應用建設導向:以分析應用名額範圍為依據,重點結合業務戰略及管理要求,自上而下追溯資料源,聚焦資料标準範圍。

操作型應用內建導向:自上而下的原則,基于實際業務流程及操作,重點識别跨業務、跨流程的內建點及關鍵步驟,分析提煉共享資料,完成業務流程和應用共享的資料映射,删除備援、非重點資料,精簡資料标準建設範圍。

資料元管理

資料元管理主要包括資料元新增、資料元導入、資料元釋出、資料元修改、資料元删除、資料元停用、資料元檢索等功能。同時支援資料元版本管理及版本之間的差異核對功能以及支援基于基礎庫、主題庫的中繼資料快速建立标準資料元,并建立和相關中繼資料的關聯關系。

标準代碼配置

标準代碼配置支援代碼的分類、标準代碼項的新增、導入、導出功能,提供了标準代碼維護的能力;可關聯到國标、地标代碼字典,為資料的規範性提供了更加詳細的描述,為後續的資料品質、資料标準等工作提供支撐。

标準資料元具有唯一的編碼(标準代碼),按照實際的業務領域進行分類之後,可以形成帶有業務領域特征的相關編碼,比如“FR00001”代表法人相關的資料元标準代碼。

數字政府智慧政務大資料治理體系建設方案WORD

常用規則配置

資料元的值有部分需要滿足固定格式的标準,治理過程中需要通過固定的值組成規則來規範資料源值的格式,例如身份證、電話号碼、電子郵箱等格式。包括通用規則及各部門根據自身需求實際制定的規則,常用規則配置會針對公共資料的特性内置部分常用的規則,同時提供了規則的配置修改能力。

中繼資料管理

按照資料整合的層次結構、主題域劃分,需要實作各層的各種對象,如表、存儲過程、索引、資料鍊、函數和包等的管理。清晰的表示各層次結構之間的資料流程、各對象之間的關系,以及向外提供的各類資料服務的資訊。

中繼資料管理内容

中繼資料内容涉及到整個大資料資源平台的各個資料環節,包括資料采集、逐層加工稽核,資料服務到最終應用展現的處理,中繼資料管理貫穿了整個流程,并與各環節實作有效互動。

中繼資料管理分類

按照中繼資料的定義分類,綜合價值分析系統中繼資料管理分為業務中繼資料、技術中繼資料、管理中繼資料三類。其中:

(1)業務中繼資料

  • 使用者的業務術語所表達的資料模型、對象名和屬性名;
  • 通路資料的原則和資料來源;
  • 系統所提供的分析方法及公式、報表資訊;
  • 對業務中繼資料來源的管理和差異性對比;

(2)技術中繼資料

  • 系統結構的描述(各個主題的定義,星型模式或雪花型模式的描述定義等);
  • 整合資料層的機構機關的資料模型描述(以描述關系表及其關聯關系為形式);
  • 對資料稽核規則的定義、彙總資料層模型描述與裝載描述(包括次元、層次、度量以及相應事實表、概要表的抽取規則);

(3)管理中繼資料

系統内部使用者的資料處理操作規則,包括抽取、轉換、加載、彙總等各類操作的使用者權限、操作時間窗管理、異常處理規則等;

外部通路使用者(主要針對該系統對外提供的資料服務)的操作規則和方式,包括所提供的資料服務接口、資料通路方式、操作;

各類使用者的操作記錄日志,包括操作使用者、登入方式、操作對象、持續時間、操作類型等相關資訊。

中繼資料管理組織

為了保障中繼資料管理目标的順利達成,需要從組織架構層面建立專業的中繼資料管控組織予以保障,確定中繼資料管控要求得以落實、制度得以執行。

中繼資料管理流程

中繼資料維護管理流程是以需求提出作為開始,經曆規劃設計、開發實施、需求驗收等項目階段的中繼資料建立和校驗,最後實作中繼資料的釋出和運維管理。在這些階段中,中繼資料管控組負責中繼資料資訊的全生命周期流程的管理和監控。

中繼資料管理功能

中繼資料管理包括中繼資料基礎資料管理和中繼資料應用,由中繼資料自動擷取、中繼資料檢索、資料模型管理、中繼資料管理、血緣關系等功能組成等。

數字政府智慧政務大資料治理體系建設方案WORD
  • 中繼資料管理功能架構
  • 中繼資料自動擷取

對中繼資料擷取資料源以及這些資料源之間的關系進行集中登記管理,并形成自動擷取資料源的全局視圖,實作中繼資料自動擷取資料資訊。

要實作中繼資料的自動擷取,需要在內建的中繼資料平台中配置自動擷取政策和排程時間等,使中繼資料能夠按預設的排程政策觸發相應的中繼資料自動擷取過程,滿足中繼資料自動擷取的時效性。

排程政策包括時間周期觸發、事件觸發兩種方式。例如,在每周星期一淩晨00:00到01:00之間觸發資料資源平台中繼資料的自動擷取過程,或者在資料處理程式更新後12小時内觸發相應的映射關系中繼資料自動擷取過程。

  • 中繼資料維護

包括中繼資料的定義、變更及版本管理,對主機資訊、資料庫資訊、使用者資訊、資料對象資訊、業務規則資訊、加工邏輯等進行維護和管控。

  • 中繼資料掃描

支援以手動或定時的方式掃描指定的資料庫資源,并提取和解析相關的資訊在比較掃描資料和原有資料的差異後自動将差異資料維護到指定的中繼資料目錄。

  • 中繼資料檢索

在中繼資料管理首頁使用者通過輸入關鍵字後,系統采用全文檢索的方式迅速查找和關鍵字比對的權限範圍内的中繼資料資訊,并将資訊傳回給使用者。使用者能夠通過展示的路徑資訊快速定位到中繼資料組織樹上的節點。

  • 中繼資料版本

版本管理分為中繼資料對象版本管理與基線版本管理兩種類型。

中繼資料對象版本:對中繼資料的每次送出形成版本(上一版本形成曆史版本),提供曆史版本間,曆史版本與目前版本對比功能;

基線版本,對某一階段産生的中繼資料對象形成資料集,提供不同階段産生的資料集的版本比較

  • 權限管理及查詢

統一實作資料庫的通路和操作管控,對使用者進行角色權限、對象權限、資料權限等方面的管控和查詢;

  • 中繼資料的導入/導出

在系統層面實作中繼資料的導入/導出功能,以保證資料模型、資料對象能夠靈活的遷移,支援模型間的檢查和比對,以便于資料模型的維護和擴充。

中繼資料血緣分析

平台提供血緣分析功能,通過可視化的圖形界面,對資料資産及所有來源的關聯資料資産進行展示,可幫助使用者分析資料來源和定位資料品質問題。

數字政府智慧政務大資料治理體系建設方案WORD
  • 中繼資料血緣分析

中繼資料分析算法包括以網狀模式展示對象等血緣關系和以父子依賴關系展示對象等有向血緣關系。

數字政府智慧政務大資料治理體系建設方案WORD

資料品質管理

資料品質管理主要包含對資料完整性、準确性、鮮活性、權威性的分析和管理,并對資料進行跟蹤、處理和解決,實作對資料品質的全程管理,提高資料的品質。

能夠提供規則配置、品質監控、問題處理等功能,及時發現并分析資料品質問題,不斷改善資料的使用品質,進而提升資料的可用性,挖掘資料更大的價值。

品質模型配置

資料品質分析的基本單元,一個品質模型由可以由一套實體表、一套規則以及多套質檢方案組成,使用者在定義質檢方案時,可以根據業務需要選擇實體表和規則,方案與方案之間互相獨立,互不幹擾。通過執行模型下的質檢方案,可以得到使用者關心的資料品質分析結果,如問題資料明細資訊、資料品質分析結果等。

數字政府智慧政務大資料治理體系建設方案WORD

品質規則管理

資料品質規則是資料品質稽核的邏輯校驗标準,是資料品質監控管理的基礎。

系統支援多種規則類型,提供了全方位的視角來為使用者解析資料品質。一套規則能在多套方案中複用,在保證多角度準确資料品質分析的前提下,大大減少了使用者投入的精力與時間,為使用者提供了一種靈活而全面的資料品質分析方式。系統包括以下品質規則:

  • 空值檢查

空值檢查用于檢查關鍵字段非空

  • 值域檢查

值域檢查用于檢查關鍵字段的取值範圍,支援數值型、字元型、日期型字段檢查

  • 規範檢查

規範檢查用于檢查名額值的格式是否規範,支援身份證、手機号碼、郵箱、日期等多種資料類型的檢測,支援自定義正規表達式

  • 邏輯檢查

邏輯檢查用于檢查名額之間是否滿足一定的邏輯關系

  • 重複資料檢查

重複資料檢查用于檢查表内是否有重複資料。

規則算法:groupby重複依據字段,count(1)>1的算重複

  • 及時性檢查

及時性檢查,用于檢查資料的及時性,衡量資料抽取或資料上報是否及時。

規則算法:算出上報時間字段的值,如果沒寫上報時間表達式,則最佳上報時間都是以下一期的第一天做為參照依據,再将上報時間與最佳上報時間做為比較,看是否在允許誤差最大天數範圍内

  • 缺失記錄檢查

記錄缺失檢查用于判斷記錄是否完整,是否缺少資料行。根據比照表字段檢查目标字段是否缺少資料,檢查實體表字段與比照字段的資料量、數值是否完全一緻。

規則算法:對檢查表字段和比照字段進行groupby并求count,根據兩個字段groupby的結果來outerjoin,count不相等或檢查字段值和比照字段值有一個為空時,此行結果都算錯

  • 引用完整性檢查

引用完整性檢查用于判斷實體表中的資料是否完全存在于比照表中。實體表檢查字段中的資料必須全部存在于比照表的比照字段中。

規則算法:實體表的檢查字段關聯distinct後的比照表的字段,關聯後,如果比照字段為空,則檢查字段的值非來源于比照表,則該規則對應結果為false

方案配置排程

依據品質規則執行的實際治理需求,通過圖形化界面配置多種質檢規則組成可執行方案,依據執行規則管控平台自動執行品質規則檢查。品質規則執行觸發方式支援按固定時間周期(如月、周、日)、事件觸發等執行方式,并且在控制台可以檢視質檢方案執行曆史,對資料質檢全流程進行管控。

數字政府智慧政務大資料治理體系建設方案WORD
  • 界面配置

通過圖形化界面配置多種質檢規則組成可執行方案,通過界面進行資料傳參。

  • 觸發方式

品質規則執行觸發方式支援按固定時間周期(如月、周、日)、事件觸發等執行方式。

  • 全流程管控

固定時間監控業務系統運作的各類資料,及時發現并整改資料異常,完善系統運作機制。

數字政府智慧政務大資料治理體系建設方案WORD

質檢結果檢視

基于質檢方案執行過程,回報每次質檢産生的異常資料,根據問題資料所配置的規則提供問題詳情、比對及整改重檢的能力。結合實際可執行和可實作的原則,分析系統存在的資料品質問題:

  • 分析與檢測

着重于在資料的定義基礎上,利用資料的邏輯和業務規則度資料品質進行檢測和分析。

  • 整改與重建

着重與在資料的分析和檢測基礎上,利用起結果對資料,特别是源資料的資料管理提出整改意見,重建資料品質的管理能力。

具體系統方案如下:

數字政府智慧政務大資料治理體系建設方案WORD

質檢分析報告

基于質檢方案及質檢結果,對每次質檢的檢查數、問題數、整改數等進行統計,形成統計圖。支援按日、按月統計及柱狀圖、折線圖。

數字政府智慧政務大資料治理體系建設方案WORD

資料工廠管理

數字政府智慧政務大資料治理體系建設方案WORD
  • 支援可視化的程式編排,資料處理流程開發,使程式開發更簡便,降低資料開發周期、開發成本;
  • 平台提供資料處理各項能力的開發功能,提供包括資料采集、處理、裝載、分發、校驗等功能開發;
  • 平台具備執行标準的開源 Hadoop 接口調用能力,以及基于個性化 Hadoop 接口封裝能力;
  • 根據不同的資料生産環境,具備不同的資料處理能力,可根據自身需求,基于平台擴充自主的資料處理功能
  • 可視化程式開發可結合資料标準化體系,整體資料開發流程與标準化管控切實對接。

流資料處理

平台支援對流資料的處理與管理,流資料的處理過程為資料實時采集-->資料實時計算-->資料實時查詢服務。

  • 實時采集

主要應對海量資料進行高性能的實時資料采集處理,以實時、高效、低延遲為核心驅動點,具備毫秒級資料觸發能力,實作秒級機關時間視窗的資料統計分析能力。需要支援的資料源類型可以分為以下四類:

  • 網絡協定資料源,包括Socket、JMS、HTTP、HTTPS等常見類型的網絡協定。
  • 本/異地檔案資料源,包括目錄掃描、文本檔案,FTP,SDTP等資料。
  • 分布式檔案系統資料源,包括HDFS,HBase,Hive等資料。
  • 關系型資料庫資料源,包括DB2,Teradata,vertica等資料。
  • 支援物聯網網關采集:将物聯網資料從物聯網網關接入,提供協定适配和标準化處理,以及滿足海量物聯網資料的入湖。

來自多種資料源的實時資訊,因為其時效性高,資料的有效期短暫,需要實時提取和分析來自各種分布式系統的資訊,并分發到不同的應用中進行處理。同時,系統必須高效、可靠、可管理、可監控并且具有一定的對外開放能力。

  • 流資料引擎

開發提供資料融合,統計,分析的高速處理能力,對于實時性要求較高的資料計算提供支撐的功能

  • 流資料計算模型管理

開發提供對已設計完成的資料計算模型進行申請,注冊,送出,執行,監控的統一管理的功能

  • 流資料計算公共模型開發

開發提供對于場景需求較多的資料模型可開發公共模型的功能,公共模型可以供其他使用者調用,可重複使用的功能

  • 流資料計算結果接口開發

開發提供對流資料計算結果接口開發功能和計算結果資料可通過接口形式供可視化調用或其他應用的功能

  • 流資料計算模型查詢

開發提供流資料計算模型查詢功能,通過對流資料計算模型釋出可以是其他使用者檢視計算模型邏輯,進行模型再利用,減少其他使用者開發工作量的功能。

資料開發平台

資料開發完成多種環境的全量與增量資料處理能力,簡化開發過程。統一資料開發入口,支援可視化開發和原生态開發兩種開發模式,實作原生态開發與可視化編排的互相轉換,提升開發效率。

  • 支援可視化開發
數字政府智慧政務大資料治理體系建設方案WORD
  • 支援原生态開發
數字政府智慧政務大資料治理體系建設方案WORD

開發工具是用于配置中介流程、元件及擴充卡開發工具,它提供了完整的從設計、開發、配置到打包部署整個階段的GUI(Graphical User Interface,圖形使用者界面)工具, 幫助使用者快速利用和充分發揮資料服務內建管理系統的服務中介功能。

統一排程管理

平台支援對資料開發與管理任務的統一排程,包括流程設計與管理、排程政策管控、任務排程控制、标準化控件等功能子產品,通過作業/任務管理、作業/任務排程、作業/任務執行實作對采集、轉換、加載、排程、監控,進而形成統一的排程與管理。

數字政府智慧政務大資料治理體系建設方案WORD

以一個業務量生産過程為例。傳統做法是通過接口通信表或時序依賴進行協同生産。在統一排程平台中以資料流作為驅動,通過控制中心進行作業指令下發,狀态收集進行控制,達到各個異構系統,多個子系統的協同排程。

數字政府智慧政務大資料治理體系建設方案WORD

資料資産管理

資料資産管理平台主要負責對資料資産進行統一注冊和管理,實作資料資産體系化管控。主要包括資料資産注冊管理、資料資産分類管理、資料資産查詢、資料地圖、資料資産分析、資料資産版本管理、資料資産變更管理、資産運作審計管理、資産統計分析,接口管理、資料品質等功能。

資料資産注冊管理

平台提供資料源管理、資料資産注冊管理、資料資産注冊稽核、生成資料庫管理等功能。提供采集器、線上維護、自動注冊接口等方式來注冊資料資産。

  • 資料源管理

平台提供對資料源注冊管理的功能,主要是對資料提供者所在資料庫、Hadoop庫的注冊管理。

  1. 資料庫注冊管理,主要負責資料庫基本資訊的注冊配置,包含但不限于以下内容:
  • 資料庫類型
  • 資料庫版本
  • 資料庫服務IP
  • 資料庫服務端口
  • 資料庫SID
  • 資料庫表空間
  • ……
  1. Hadoop庫注冊管理,主要負責Hive庫基本資訊、HDFS檔案資訊的注冊配置,包含但不限于以下内容:
  • HIVE資料庫服務IPHIVE資料庫服務端口HDFS檔案系統服務IPHDFS檔案系統服務端口……
  • 資料資産注冊管理

平台提供對資料資産注冊管理的功能,主要包括對表、視圖、序列、檔案、ETL過程、Hadoop等進行注冊管理。

1)業務系統資訊收集與資産注冊,包含但不限于以下内容:

  • 業務系統名稱
  • 業務系統描述
  • 業務系統服務IP
  • 業務系統服務端口

2)資料庫資訊采集與資産注冊,包含但不限于以下内容:

  • 資料庫類型
  • 資料庫版本
  • 資料庫服務IP
  • 資料庫服務端口
  • 資料庫SID
  • 資料庫表空間

3)表結構資訊采集與資産注冊,包含但不限于以下内容:

  • 表名稱
  • 表中文名稱
  • 業務資訊描述
  • 表結構定義
  • 表資料處理邏輯

4)視圖資訊采集與資産注冊,包含但不限于以下内容:

  • 視圖名稱
  • 視圖中文名稱
  • 業務資訊描述
  • 視圖結構定義

5)字段資訊采集與資産注冊,包含但不限于以下内容:

  • 字段名稱
  • 字段中文名稱
  • 字段較長的描述
  • 字段類型定義

6)名額資訊采集與資産注冊,包含但不限于以下内容:

  • 名額名稱
  • 名額中文名稱
  • 名額業務描述
  • 名額統計口徑
  • 名額統計周期

7)報表資訊采集與資産注冊,包含但不限于以下内容:

  • 報表名稱
  • 報表中文名稱
  • 報表業務描述
  • 報表格式
  • 報表統計周期

8)hadoop平台資訊采集與資産注冊,包含但不限于以下内容:

  • Hadoop叢集名稱
  • Hadoop叢集描述
  • Hadoop叢集主節點IP
  • Hadoop叢集從節點IP

9)hadoop hive庫表資訊采集與資産注冊,包含但不限于以下内容:

  • Hive資料庫服務IP
  • Hive資料庫服務端口
  • Hive表名稱
  • Hive表中文名稱
  • Hive表業務描述資訊
  • Hive表結構定義

10)ETL過程資訊采集與資産注冊,包含但不限于以下内容:

  • ETL作業名稱
  • ETL作業業務描述資訊
  • ETL過程處理邏輯
  • ETL作業運作周期
  • ETL來源表名稱
  • ETL來源檔案路徑
  • ETL目标表名稱
  • ETL目标檔案路徑

11)檔案接口資訊采集與資産注冊,包含但不限于以下内容:

  • 接口檔案名稱
  • 接口檔案業務描述資訊
  • 接口檔案路徑
  • 接口檔案大小
  • 接口内容與表字段映射關系

12)OLAP資訊采集與資産注冊;

13)webservice接口資訊采集與資産注冊,包含但不限于以下内容:

  • webservice接口名稱
  • webservice接口描述
  • webservice接口負責人
  • 資料資産注冊稽核

平台提供對資料資産注冊的稽核功能,通過在平台中定義資料資産的相關命名規範,可實作對資料資産的自動稽核,主要包括對表/視圖、檔案等資料資産進行稽核分析。當資料資産命名不符合規範時,平台會提示錯誤資訊,并阻止資産的注冊操作,當資料資産命名稽核通過後,交由相應的稽核人進行稽核,保障資料資産的完整和規範性。

數字政府智慧政務大資料治理體系建設方案WORD
  • 生成資料庫管理

平台可基于資料資産(表),通過在平台中指定生成表的資料庫及表空間等資訊後自動生成相應資料庫的建表腳本并在資料庫中生成資料表,如下圖所示:

數字政府智慧政務大資料治理體系建設方案WORD

資料資産分類管理

平台提供對資料資産的分類管理功能,在資料資産注冊同時或注冊後,可在資料資産上辨別不同的屬性标簽,通過屬性标簽完成對資料資産的分類整理,為資産查詢、資産統計、資産盤點等功能提供支撐。

常見的屬性标簽包括:

  • 資産類型:資料表、檔案、接口、名額、報表等
  • 資料來源:B域、O域、M域等
  • 主題域:參與人、服務、資源、事件、市場監管、企業管理、公共。
  • 所屬層級:接口層、輕度彙總層、中度彙總層、高度彙總層、應用層等
  • 存儲周期:按年、按季度、按月、按周、按日等
  • 資料資産分類體系

在資料資産的分類管理中,平台按照資料資産的生命周期對資料資産進行分層,即輸入層、加工層和輸出層。輸入層是指資料從各個資料源抽取到大資料平台,輸出層是指大資料平台資料輸出到外部管道或内部管道,加工層指資料在大資料平台内進行加工處理的過程。

  • 資料資産分類查詢

平台提供資料資産分類查詢功能,可通過選取分類标簽中具體的屬性标簽對資料資産進行篩查。

數字政府智慧政務大資料治理體系建設方案WORD
  • 資料資産分類統計

平台提供資料資産分類統計功能,可對各種标簽屬性的資料資産進行分類統計,并形成統計報表,供使用人員查詢不同屬性資料資産的整體統計情況。

資料資産目錄管理

  • 資料資産目錄

資産目錄是對平台中繼資料的有序組織,是記錄資料體系的保障資料類目是目錄資訊與服務、保障與支撐所組成的一個整體針對資産的合理組織,需要對資産進行對應分類,如部門類目、主題類目、行業類目等,可對該類目下資産資料進行搜尋、展現以及權限申請。

  • 資料資産查詢

平台提供資料資産查詢功能,主要分為通用查詢和進階查詢兩種方式。

  1. 通用查詢:通過在通用查詢搜尋框中輸入查詢關鍵字,可對資料資産進行模糊查詢。
數字政府智慧政務大資料治理體系建設方案WORD
  1. 進階查詢:根據指定資料資産屬性資訊的具體值對資料資産進行精确查詢,包括資料資産名稱、資産編碼、資産分類标簽等屬性。
數字政府智慧政務大資料治理體系建設方案WORD

資料智能分析

建設資料分析支撐子平台,通過提供資料探索工具,建立資料标簽體系,并建構資料血緣與資料關聯度分析能力,支撐對所歸集的資料進行全面、多元、深度的分析,進而滿足各類業務的應用需求,推動資料的開放創新應用,實作資料的社會化應用價值。

資料标簽管理

平台提供資料标簽管理功能,可對已導入的資料資産标簽進行增加、修改、删除以及分類标簽的導入導出功能,滿足資料資産業務屬性随業務發生變化時資料資産标簽能夠靈活變化。

數字政府智慧政務大資料治理體系建設方案WORD

标簽模闆管理

平台提供資料标簽模闆管理功能,可通過下載下傳功能将标簽模闆導出為Excel檔案格式,對資料标簽進行編輯整理後批量導入到平台中,并提供對标簽模版的增加、修改、删除等操作。

數字政府智慧政務大資料治理體系建設方案WORD

基礎标簽管理

開發以清單形式和智能推薦形式将平台中設定的基礎标簽進行呈現清單形式是将所有的基礎标簽一一列出,并可以按照熱度進行排序智能推薦形式是指根據最近時間段内的标簽的通路頻率、搜尋頻率等,以輪播的形式循環展現熱門标簽的功能。

數字政府智慧政務大資料治理體系建設方案WORD

标簽關系展現

開發通過标簽将相關聯的資料目錄關聯在動圖中展現給使用者,形成豐富資料盛筵的展示效果,做到通過一張圖就可以将某一條資料的關聯資料、以及資料之間的關系全部展示出來的功能。

數字政府智慧政務大資料治理體系建設方案WORD

資料血緣分析

提供血緣分析功能,通過可視化的圖形界面,對資料資産及所有來源的關聯資料資産進行展示,可幫助使用者分析資料來源和定位資料品質問題。

數字政府智慧政務大資料治理體系建設方案WORD

資料探索工具

平台提供了資料探索工具,支援使用者通過資料探索工具對擁有權限的資料進行線上自助資料查詢,工具記錄通路日志。

數字政府智慧政務大資料治理體系建設方案WORD

在平台上使用者可以在此頁面通過各種過濾條件查詢出自己權限範圍内滿足條件的報表,并進行對應的設為首頁及關注操作。

數字政府智慧政務大資料治理體系建設方案WORD

關聯度分析

平台提供表關聯度分析功能,通過分析資料庫表資料資産與其他資産的的關系出現次數情況,如表與ETL程式、表與OLAP、表與名額等關系,并以報表形式輸出分析結果,幫助使用者分析資料資産之間的關聯程度。

數字政府智慧政務大資料治理體系建設方案WORD

繼續閱讀