原文《數字政府智慧政務大資料治理體系頂層設、應用體系可研方案》WORD格式。
政務大資料治理體系頂層設計
政務大資料治理體系核心概念
目的
政務大資料治理的目的包括改善決策支援、降低資料風險、提升資料價值、推進資料有效流通、推動資料共享開放政務大資料治理資料體系
圖 13 政務大資料治理資料體系
政務大資料治理資料體系包含從資料來源、資料生命周期和資料等級三個次元。資料來源是對資料治理對象的範圍界定，主要包括政府部門資料以及行業、網際網路和物聯網中與政務相關的資料。資料生命周期是指政務大資料治理體系中資料所處不同階段的劃分，包含原始庫、資源庫、主題庫、知識庫和業務庫五個階段。資料等級是指根據資料内容對資料密級的劃分，可分為非密資料、秘密資料和機密資料三大類和對應的七小類。
政務大資料治理安全體系
圖 14 政務大資料治理安全體系
政務大資料治理安全體系由安全規範标準、安全技術保障體系、安全運維保障體系、安全管理保障體系組成，規範标準用以指導整個安全體系的建構。具體來講，安全運作保障體系保障資料治理平台建設開發、運維過程中的安全，安全技術保障體系從技術的次元對政府資料治理平台進行全方位的安全防護，安全管理保障體系從制度、人員和機構設定的角度來對資訊系統進行保障。
政務大資料治理标準體系
政務大資料治理标準體系的建設對于推動政府資訊資源整合、體制機制的建立、制度标準規範的制定乃至于保障資料治理體系的穩定運作，都有着不可或缺的指導意義，也是推進政府資料治理工程的基礎性和保障性工作。标準規範建設包括制定資料接口類标準、中繼資料标準、資料交換流程規範、資訊管理類标準、資訊安全規範。
圖 15 政務大資料治理标準體系
政務大資料采集平台
總體架構
政務資料采集平台總體架構如圖 16所示，資料采集平台包含可視化ETL系統、可視化網頁資料采集系統、任務排程中心三部分組成。針對不同資料源類型，使用資料庫接入的方式接入可視化ETL系統或使用URL通路的方式接入可視化網頁資料采集系統。通過便捷的可視化配置操作，生成ETL配置項及網頁資料擷取腳本。建立任務排程中心，用于解析、排程、運作ETL、網頁資料采集腳本，同時對采集任務進行監控，可視化排程任務、資料擷取統計，最終将采集資料裝載到對應的資料存儲載體。
圖 16 政務大資料采集平台總體架構
功能架構
政務大資料采集平台融合可視化ETL系統、可視化網頁資料采集系統以及采集排程系統，均采用前後端分離思想。可視化ETL系統主要負責ETL配置參數庫擷取以及持久化工作，為後續的ETL排程任務奠定參數基礎，如中繼資料資訊配置：源資料、目标資料庫以及可以用于抽取的表、字段、轉換規則、清洗規則、抽取規則等資訊以及相關函數的定義等等；可視化網頁資料采集系統主要功能是提供前端的互動式網頁資訊标注，後端解析标注并生成網頁資料采集腳本，為采集排程系統中網頁資料采集排程子產品提供任務函數；采集排程系統實作ETL與網頁資料采集任務的排程管理，如資料的抽取、清洗、加載、存儲、爬取等核心功能以及資料監控展示等功能。
政務大資料接入平台
總體架構
政務大資料接入平台總體架構自底向上依次為資料層、支撐層、接入适配層、互動層。除此之外還包括标準規範、安全保障兩個理論支撐體系。
互動層：主要為使用者和管理者提供政務大資料接入可視化互動頁面。
接入适配層：支援主流資料庫資料協定，采集非結構化檔案和處理特定業務協定資料，并能程式設計定制特殊通信資料接入協定。
支撐層：為政務大資料接入營運提供高品質的服務環境，具體包括支撐軟體、硬體環境層面。
資料層：資料層主要為政務大資料采集平台以及各委辦局提供的各類結構化、半結構化、非結構化資料。
功能架構
政務大資料接入平台功能架構主要包括應用層、接入适配層、通道層、存儲适配層。
應用層：主要包括業務應用開發接口、FTP Server、開放檔案接口、業務接口改造、開放資料庫直連、安全管理、元件管理、日志管理等。
接入适配層：支援主流資料庫資料協定，采集非結構化檔案和處理特定業務協定資料，并能程式設計定制特殊通信資料接入協定。适配的協定包括MySql、Oracle、FTP、HBASE等。
通道層：MQ作為消息傳輸中間件産品，具有獨特的安全機制、簡便快速的程式設計風格、卓越不凡的穩定性、可擴充性和跨平台性。對消息的傳輸，做到不丢失、不複傳。
存儲适配層：對所存儲的結構化、NoSQL資料提供高可靠的、安全的資料提取和通路服務。
技術架構
政務大資料接入平台采用Web服務模式，技術架構包括互動層、服務層、平台層和資料層。
政務大資料接入平台技術架構
互動層：為使用者和管理者提供可視化互動頁面。政務大資料接入平台采用前後端分離的架構，前端采用React架構，該架構是一個建構資料驅動的 Web 界面的漸進式架構。
服務層：是接收互動層和資料請求的統一處理子產品。API網關是微服務架構标準化服務的模式，實作對政務大資料接入平台系統衆多服務接口管控，對通路服務的身份認證、防封包重放、防資料篡改、業務鑒權、響應資料脫敏、流量與并發控制。由于政務大資料接入平台在提供服務時，可能會出現請求時間較長的情況，是以引入消息隊列機制來控制高并發的請求。
平台層：政務大資料接入平台背景服務基于SpringBoot微服務架構，采用Mybatis進行資料持久化。授權證書服務是基于JWT的密鑰管理和簽名驗證子產品。背景服務基于SpringCloud實作微服務管理。基于ETL的資料抽取和轉換工具支撐平台的所有資料和資料集操作功能。平台的資料庫程序、服務程序都是基于Docker進行容器化。
資料層：資料層主要為采集平台以及各委辦局提供的各類結構化、半結構化、非結構化資料。
政務大資料融合平台
總體架構
如圖 28所示為政務大資料融合平台總體架構圖，通過全面梳理政務大資料業務場景，建構通用域資料模型、公共域資料模型、結構域資料模型和領域資料模型，針對采集彙聚的多源異構政務資料，采用資料融合算法，形成政務大資料融合資料庫，如基礎庫、主題庫和業務庫，支撐政務大資料融合分析應用。
資料采集接入平台為資料融合提供多源異構資料接入，包括結構化資料庫表以及非結構化文本、圖像、語音和視訊資料等。針對政務大資料業務邏輯，建構形成政務資料模型标準，采用權重平均、高斯濾波、D-S證據理論、邏輯模糊理論、貝葉斯估計等算法實作結構化資料的融合分析，以及典型相關分析（CCA）、核相關分析（KCCA）、非負矩陣分解和基于深度學習的跨媒體關聯等方法實作非結構化的關聯融合。政務大資料融合平台通過資料模型與融合算法兩大核心子產品，建構輸出融合政務資料庫，包括基礎庫、主題庫和業務庫。
功能架構
政務大資料融合平台系統包括資料模型、融合算法和融合資料庫三個核心子產品，如圖 29所示，資料模型包括通用域資料模型、結構域資料模型、公共域資料模型和領域資料模型；融合算法子產品包括結構化和非結構化資料融合挖掘分析基本算法；融合資料庫提供了政務應用所需的基礎庫、主題庫和業務庫。
（1）資料模型
核心資料模型由三部分組成：通用域資料模型、公共域資料模型和結構域資料模型。通用域資料模型定義的是在所有領域内具有普遍意義，并在語義上具有高度一緻性和穩定性的資料類型，如時間與日期、位址、組織機構、活動與事件、人員和物體等等；公共域資料模型定義的是在多數領域中使用比較廣泛，并得到一緻認同的資料類型；結構域資料模型是所有其他域資料模型定義的基礎，它是對XML模式語言中的基本資料類型的擴充，增加了中繼資料定義等内容。
業務領域資料模型定義的是特定領域的資料類型，由各業務領域根據自身業務資訊交換需求，在核心資料模型的基礎上進行繼承和擴充而形成的，如精準扶貧資料模型、生态資料模型、應急管理資料模型等。
（2）融合算法
結構化資料融合算法：
權重平均法是最簡單、最直覺方法資料級融合方法，該方法将多源資料進行權重平均，結果作為融合值，該方法是一種直接對資料源進行操作的方法。卡爾曼濾波算法主要用于融合低層次實時動态多源時序資料。貝葉斯估計是在最大似然機率上做進一步拓展，不直接估計參數的值，而是允許參數服從一定機率分布。D-S理論是對貝葉斯推理方法推廣，主要是利用機率論中貝葉斯條件機率來進行的，需要知道先驗機率。适用于：資訊融合、專家系統、情報分析、法律案件分析、多屬性決策分析。
非結構化資料融合算法：
典型相關分析法（CCA）是跨媒體資料關聯分析的典型方法，它在計算生物學、金融分析和資訊檢索等領域有着廣泛的應用。基于任務的共享子空間學習方法同時學習多個相關的任務，通過提取不同任務中不同模态間的共享子空間，以提高各個任務的總體泛化性能。基于深度學習的跨媒體資料融合方法是目前的主流方法，通過深度網絡的非線性模組化能力來分析不同媒體類型資料間的複雜關聯關系。這類方法的特征表達能力強，可以抽取出高層的語義資訊，能夠解決複雜的非線性問題。
（3）融合資料庫
融合資料庫包括基礎庫、主題庫和業務庫。基礎庫是包括人口、法人、電子證照、地理空間與宏觀經濟等基礎資料庫；主題資料庫是面向業務主題的資料組織存儲，包括政務事項庫、信用庫等；業務庫包括城市态勢庫、安全業務庫、交通業務庫。
人口基礎資訊庫是指圍繞自然人形成的有關基礎資訊、婚姻資訊、醫療健康資訊、社保保險資訊、駕駛人資訊的資料集合。人口基礎資訊庫是經濟社會發展中支撐各部門應用系統的重要基礎,對勞動就業、稅收征管、個人信用、社會保障、人口普查、計劃生育、打擊犯罪等資訊系統的建設具有非常重要的意義。
法人基礎資訊庫是辨別法人不可缺少的基本元素，是使用最頻繁、最基礎、最重要的資訊，主要包括法人基礎資訊資料、主要人員資訊、自然人出資資訊、法人擴充資訊資料、非自然人出資資訊。
電子證照基礎資訊庫的建設有利于通過電子證照共享平台，将電子證照與電子批文等應用到行政審批流程中。企業、群眾在申報行政審批事項無需提供前置證照的紙質材料，而由受理部門視窗通過電子證照共享平台查驗。
宏觀經濟是反映經濟狀态的主要資料，對指導經濟政策、調節經濟名額有着至關重要的作用。宏觀經濟從宏觀上了解社會經濟活動的總體情況，依賴于各統計部門的統計資料。宏觀經濟基礎資訊庫需要根據宏觀經濟關注的重點，設計了接口良好的資料模型，友善統計部門快速上報資料。宏觀經濟基礎資訊庫包括了經濟發展、社會就業、公共事業、科技創新、可持續發展、重大投資項目。
自然資源和地理空間基礎資訊庫項目是“十五”期間國家電子政務重點建設的四個基礎資訊庫之一。自然資源和地理空間基礎資訊庫是大陸規模宏大的地理空間資訊資源建設項目，是大陸國家地理空間資訊基礎設施的重要組成部分，其建設對于加強和完善大陸高層地理空間資訊基礎設施具有重要的作用。
技術架構
政務大資料融合平台技術架構主要由資料模型、融合算法與融合資料庫部分構成。
資料模型：利用資料采集接入平台擷取的資料，通過PowerDesigner，Open ModelSphere等資料模組化工具，建構政務應用業務資料模型，用于支撐資料融合。
融合算法：基于已建構的政務資料模型和多源異構政務資料，利用Tesorflow、Guetzli等算法工具實作權重平均、高斯濾波、非矩陣分解、貝葉斯估計等資料融合算法，實作結構化與非結構化資料的融合關聯。
融合資料庫：基于政務資料模型和融合算法，形成融合政務資料集，同時對融合資料集進行分類别、分主題、分業務的歸類存儲。融合資料庫包括基礎庫、主題庫與業務庫，根據不同資料類型、資料格式，采用MongoDB、Oracle、MySql等資料庫進行存儲，為政務大資料資源管理平台提供資料資源支援。
圖 30政務大資料融合平台技術架構
政務大資料資源管理平台
總體架構
政務大資料資源管理平台以資料為核心，主要提供資料資源從分析、治理、應用到運維管理等不同階段的能力。總體架構設計如圖 38圖 38所示。
互動層：為使用者和管理者提供政務大資料資源管理平台可視化互動頁面。
功能層：包括中繼資料管理、資料資源分析、資料資源治理和資料資源運維等服務。
支撐層：為資料資源化營運提供高品質的服務環境，包括支撐軟體、硬體環境。
資料資源層：資料層主要為政務大資料接入平台提供的各委辦局的結構化、半結構化、非結構化資料。
功能架構
政務大資料資源管理平台主要包括中繼資料管理、資料資源分析、資料資源治理、資料資源運維等功能，功能架構設計如圖 39所示。
中繼資料管理：為資料資源管理的重要基礎，其通過人工采集方式或從已有資訊系統中提取方式，完成使用者所關注的各類中繼資料的擷取，提供中繼資料變更、統計、自身品質稽查、使用情況分析、版本和生命周期管理等基本功能。同時提供血緣分析、影響分析、實體關聯分析、名額一緻性分析等中繼資料分析功能。
資料資源分析：提供資源成本評估分析，主要包括資源盤點和資源成本評估兩大類功能。其中，資源盤點實作标簽類别管理，支撐資源标簽和業務分類、資料分類關聯等功能，最終生成全局的資料資源概覽和資源地圖；資料資源成本評估通過評估分析模型，提供資料資源構成分析、資源活性分析和分布情況分析功能，持續沉澱核心資料資源。
資料資源治理：為資料化營運提供高品質的資料環境，具體包括資料标準管理、資料模型管理、資料品質管理三大功能。其中，資料标準管理實作資料資源格式、命名的準确性和口徑一緻性，提供資料标準維護與釋出管理功能，支援資料标準與資料間的關系維護，具體包括資料架構規劃、資料标準化和名額标準化等功能；資料模組化管理提供資料模型管理、比對、分析、展示等功能，具體包括資料模型基線管理、模型變更評審、模型稽核等功能；資料品質管理提供自動化、智能化品質核查工具，能夠實作從資料分析到現狀分析、問題診斷、優化、處理管理優化，一直到效果回報全過程品質管理，形成品質治理閉環。
資料資源運維：資料資源應用具體包括資源生命周期管理、資源安全管理和資源評估應用等功能。其中，資源生命周期管理實作資料從産生、應用、歸檔到銷毀的整個生命周期全過程自動化管理，具體包括資源釋出變更管理、資料全鍊管理和資源下線等功能；資源安全管理保證資料資源使用和交換共享過程中的安全，對資料和資訊進行适當的認證、授權、通路和審計，具體包括安全政策管理、資料脫敏、資料安全審計等功能；資源評估應用實作全鍊路的資料資源監管和價值追蹤，具體包括資源使用評估、資源價值評估和敏感資料評估等功能。
技術架構
政務大資料資源管理平台采用Web服務模式對外提供資料服務，技術架構包括互動層、服務層、技術元件層、資料持久層和資料存儲層。
互動層：為使用者和管理者提供可視化互動頁面。政務大資料資源管理平台采用前後端分離的架構，前端采用React架構，該架構是一個建構資料驅動的 web 界面的漸進式架構。
服務層：是接收互動層和資料請求的統一處理子產品。API網關是微服務架構标準化服務的模式，實作對政務大資料接入平台系統衆多服務接口管控，對通路服務的身份認證、防封包重放、防資料篡改、業務鑒權、響應資料脫敏、流量與并發控制。由于政務大資料接入平台在提供服務時，可能會出現請求時間較長的情況，是以引入消息隊列機制來控制高并發的請求。
支撐層：政務大資料資源管理平台背景服務基于SpringBoot微服務架構，采用Mybatis進行資料持久化。授權證書服務是基于JWT的密鑰管理和簽名驗證子產品。背景服務基于SpringCloud實作微服務管理。基于ETL的資料抽取和轉換工具支撐平台的所有資料和資料集操作功能。平台的資料庫程序、服務程序都是基于Docker進行容器化。
資料持久層: 采用Hibernate、iBatis和JDBC相結合的方式，對于量不大且結構比較嚴謹的資料，Hibernate、iBatis是一種比較實用的存取方案。對于量大且性能要求高的批量中繼資料存取，由于Hibernate、iBatis性能上無法保障， 是以，采用JDBC直接讀寫方式。另外，針對檔案類資料提供單獨的檔案通路元件。
資料存儲: 主要是對平台資源模型、中繼資料、采集配置資料、及平台支撐資料的存儲。
政務大資料應用體系
政務大資料共享交換平台
總體架構
圖 42 政務大資料共享交換平台總體架構
政務大資料共享交換平台遵循面向服務體系結構（SOA）進行架構設計，基于國家标準電子政務模型，結合政務大資料應用體系實際需求，綜合考慮存量、條線業務對接等問題，實作資料實時快速傳輸、交換、編目、管理等要點，依據國家相關資料共享交換政策法規與資料标準，進行總體設計。
功能架構
圖 43 政務大資料共享交換平台功能架構
政務大資料共享交換平台系統由以下三個部分組成：
政務公用資料資源庫：政務公用資料資源庫主要由中繼資料庫、基礎庫、主題庫構成。中繼資料庫主要包含資料庫定義、标準規範、資料處理過程定義等基礎配置資訊，為基礎庫和主題庫提供資料标準化支撐服務。基礎庫主要用于存放國家标準及各地方标準制定的自然人、法人、地理資訊、宏觀經濟等資料資訊。主題庫主要針對特定領域、特定行業進行業務分析，通過動态資料抽取，完成資料從基礎庫到主題庫的重組工作，将資料根據各個主體進行分類存儲。
資料共享交換系統：資料共享交換系統是資料共享交換平台的核心元件，将資料經過資料管理後形成的資料資源庫，通過資料目錄查詢資料，利用Web Service接口、前置庫接口等技術手段，實作資料的實時共享交換。進而保證資料共享交換的完整性、時效性、準确性和可用性。
共享交換平台門戶：共享交換平台門戶是基于以上三個部分，面向使用者提供資料共享交換API服務與相關資料可視化統計服務的網絡平台，使用者可通過該門戶查詢資料、申請擷取API，進而實作資料的共享交換。
技術架構
圖 44 政務大資料共享交換平台技術架構
政務大資料共享交換平台是基于SOA（面向服務體系）搭建體系架構，利用ESB（服務總線技術）、前置庫交換技術等，采用松散耦合的方式建構政務大資料共享交換平台。在資料的傳輸與轉換過程中，提供集中統一的控制和管理。
（1）資料層：主要用于資料存儲、資料備份與資料安全保障，為資料共享交換提供資料基礎。
（2）連接配接層：提供豐富的資料連接配接器、擴充卡，根據一定的資料抽取政策，對需要共享交換的資料進行資料抽取，為資料傳輸做準備。
（3）傳輸層：将連接配接層抽取的資料，釋出在資訊總線上，在所有系統之間傳輸路由和消息，實作資料上傳和下達。
（4）轉換層：将通過資訊總線傳輸的資料，進行資料擷取、資料處理，對異構資料進行轉換、有效性檢驗和分析，并利用資料資源編目對資料進行資料的分類分級，完成資料的轉換。
（5）應用層：将轉換完成的資料，通過API接口進行共享開放，供使用者進行調用擷取資料集。
（6）監控管理層：針對資料共享交換技術流程體系，進行統一管理、排程、安全保障、維護和控制。
關鍵技術
（1）分布式異構資料組織與管理技術
為實作大資料的共享與開放，滿足廣域網環境下海量、多源、異構資料的快速發現、準确定位的需求，開展針對分布式異構資料的虛拟化組織、統一化管理等方面的技術研究，重點突破基于資料語義特征的中繼資料自動抽取、分布式資料資源虛拟化組織、分布式資料資源聯合檢索、基于中繼資料的無中心資源目錄同步等關鍵技術，制定多元資料分級分類标準，支援海量分布式資料的快速定位，迅速地發現與需求比對的資料資源，建立具有明确層次結構的資料體系、全局資源視圖、資料資源目錄體系，明确政府部門向社會公開資料的内容、格式和途徑，形成政府部門和事業機關等公共機構資料資源開放清單，為資料共享與開放提供技術支撐。
（2）面向跨域共享交換的資料服務技術
面向資料提供方和使用方之間跨地域、跨部門、跨系統的資料共享交換需求，開展面向服務的跨域共享、資料開放、通路控制等領域研究，重點突破分布式資料服務注冊釋出、資料目錄同步、資料服務接口自動建構、基于細粒度通路控制的資料服務通路、基于釋出訂閱機制的資料智能分發推送等關鍵技術，制定面向服務的資料共享規則、資料開放規則和相關的接口規範，提供資料通路接口調用、訂閱分發、内容主動推送、按需下載下傳等資料服務，解耦資料供需關系，實作全局資料資源的釋出和授權通路。
（4）微服務技術
微服務作為一種新興的軟體架構，把一個大型的單個應用程式和服務拆分為數十個微服務，系統中的各個微服務可被獨立部署，各個微服務之間是松耦合的。每個微服務僅關注于完成一件任務并能很好地完成該任務。
在政務大資料共享交換應用場景中，以微服務技術為支撐的資料服務體系，通過微服務總線技術模式，實作資料共享交換服務。滿足排程中心對資料排程過程的可控、可溯，對經由微服務總線的所有資料接口、資料流進行全程監控，并能夠對整體流程進行審計。
技術路線
圖 45 資料共享交換平台技術路線
政務大資料共享交換平台搭建任務主要分為三個階段。第一階段為多源異構資料組織管理技術的研究工作與工程實作，将多源異構資料進行組織管理，并利用資料編目進行資料分類分級，實作跨層級、跨領域、跨地區資料的整合管理。第二階段為跨域交換共享服務技術研究與實作，該階段将政務大資料資源庫中資料根據需求進行資料抽取，并研究利用共享交換的前置交換、交換橋接等技術方式，對資料跨域共享交換進行配置設定與排程，建構相關API接口，為平台最終建設做好技術支撐工作。第三階段為平台搭建與功能內建階段，該階段将政務大資料資源庫中資料進行資料分類分級、目錄管理，利用共享交換技術，設計高性能實時資料傳輸API接口與相關應用體系，搭建政務大資料共享交換平台。
政務大資料開放平台
總體架構
圖 46 資料開放平台總體架構
政務大資料開放平台的搭建是為了能夠将政務資料經過脫敏脫密後，面向公衆進行資料開放，公衆可通過調用平台設計提供的API接口服務擷取政務大資料公開資料集，也可下載下傳已使用本平台API接口的應用，同時本平台鼓勵開發者進行資料API接口申請與調用，更大限度的提高政務大資料的利用效率，并開發資料背後的潛在價值。
該平台遵循SOA模式進行架構設計，結合實際設計需求，綜合考慮實時資料傳輸效率、資料傳輸容量、高性能API設計等問題，基于脫敏脫密後獲得的政務大資料開放資源庫，建構政務大資料開放平台，最終面向使用者提供政務大資料開放平台門戶，主要包含資料接口服務、應用市場服務和開發者服務等。
功能架構
圖 47 資料開放平台功能架構
政務大資料開放平台主要依據網際網路架構體系與政府資料開放五級技術成熟度模型進行平台建構。其系統主要分為以下六個方面：
（1）資料資訊采集階段：在該階段針對政務大資料進行實時或非實時資料采集，并利用ETL技術進行資料采集處理。
（2）資料資訊處理階段：在該階段針對采集後的資料，基于中繼資料庫中資料政策與名額，進行統計、分析，并針對于政務大資料進行資料的脫敏、脫密，将處理後的資料進行資料同步，存儲于政務大資料開放資源庫中。
（3）資料應用設計階段：是根據實際平台設計需求，結合已擷取資料，利用URI定位等技術，進行資料深層次分析，獲得資料間關系，同時設計高性能API接口，用以支撐上層應用。
（4）資料資訊開放應用階段：該階段主要利用下層提供的技術支援，将平台所需功能內建于web平台，通過Web Service模式，使使用者可以在該門戶平台通過調用API等方式，靈活利用公開政務資料，高效率深度挖掘資料的深層價值。
（5）資料生态建構階段：該階段是基于政務大資料開放平台，綜合跨層級、跨地區、跨領域資料，搭建大資料開放生态體系。
（6）資料資訊服務階段：該階段貫穿整個系統流程，為政務資料開放提供服務支援，流量監控，安全保障等系統，全方位監督資料的開放流程，并保障資料的安全可靠性。
技術架構
圖 48 資料開放平台技術架構
政務大資料開放平台技術架構參考網際網路架構進行設計，用以支撐政務資料準實時開放。
（1）資料采集層：通過多種管道采集政務大資料，并對資料進行脫敏脫密等處理，獲得可供開放的政務大資料資源庫。
（2）資料管理層：該層在安全标準管理下，利用統一協調排程平台，對多源異構資料進行集中管理、集中處理，利用URI等技術獲得資料定位，并對資料間關系進行分析整理。
（3）資料服務層：該層利用nodejs等方式對服務進行封裝處理。
（4）資料應用層：該層通過服務層，将資料管理層資料擷取，并進行URI定位與資料間關系分析，将各項功能內建于web平台，讓使用者可以通過該平台門戶進行互動，進而擷取相應的資料資訊或相關的資料應用、資料分析結果。
關鍵技術
（1）非結構化資料的智能識别與脫敏技術研究
1）結合人工智能和語義分析等方法，實作政務文本資料的敏感資料自動識别；
2）研究非結構化的圖像資料，實作圖像中的敏感資料自動識别；
3）研究非結構化的音頻資料，實作音頻中的敏感資料自動識别；
4）研制基于大資料分析技術的靜态與動态資料脫敏工具，實作政務資料共享交換過程中的敏感資料脫敏。
技術路線
圖 49 資料開放平台技術路線
政務大資料開放平台搭建技術路線分為兩個階段，第一為關鍵技術研究與實作階段，針對于多源異構政務資料，進行資料清洗與脫敏脫密技術研究，面對結構化資料、非結構化資料（視訊、音頻等類型資料），利用人工智能、語義分析、圖像處理、音頻處理等技術，對資料進行脫敏脫密，建構政務大資料公共資源庫。第二階段為平台建構階段，将資料URI定位技術、資料間關系分析技術、網站平台建構技術進行結合，搭建政務大資料開放平台門戶網站，為使用者提供政務大資料開放API接口與相關應用服務。
來源網絡，旨在交流學習，因轉載衆多，無法獲知最終出處，如有侵權，聯系速删。
更多參考公衆号：優享智庫