原文為WORD格式，來源公衆号：優享智庫
功能架構
1 大資料資源中心建設方案
在本次項目中，我們需要制定全市公共資料彙聚的标準規範和管理制度，歸集全市各機關的政府公共資料，形成XX市的政務資料資源湖。同時經過對資料進行清洗、轉換、融合、治理後，形成高品質的公共資料資源，建構形成XX市标準化都大資料倉庫。
基于全市的政務資料資源湖，利用經過治理後的資料，可以針對某一特領域的業務資料共享、應用需求，按主題歸集形成專題庫和主題庫，并面向政務部門及社會進行資料開放。此外，我們還将持續開展、深入XX市大資料的應用探索，圍繞跨部門、跨領域、跨行業的資料應用需求，對資料實體進行資料關聯、資料融合和衍生計算，生成算法标簽，逐漸建立不同領域的應用專題或主題庫建構面向全市多部門提供統籌的資料共建共享共用的資料服務。
1.1 中心總體定位設計
XX市大資料能力平台包括市級資料湖、基礎庫、主題庫和融合業務應用資料庫幾大部分，是資料接入、資料歸集和資料治理形成的結果。其中，資料治理保證市級資料湖中資料的規範，建構基礎庫和融合業務應用資料庫，是更高層次的資料管理機制。通過資料治理，面向政務、物聯、視訊三大類資料，保障資料架構、資料标準、資料開發等資料管理職能的開展，提升資料管理水準，對資料采集、存儲、交換、共享、使用等全生命周期進行持續改善。
本期項目建設的資料資源中心可覆寫XX市各委辦局部門，資料來源包括市級（含下屬區縣）各級政務資料、物聯裝置資料、視訊資料等。可滿足多源異構的結構化資料、半結構化資料和非結構化資料的存儲，支撐政務資料共享交換需求，支撐數字XX市建設上層應用算法模型訓練需求，支撐上層應用系統的資料需求，需要設計相應的資料庫以及資料存儲結構。
XX市大資料能力平台的建設采用市級資料湖+基礎庫+主題庫的資料存儲架構，市級資料湖與主題庫依托于大資料支撐子系統建設。資料來源主要來自于XX市各級委辦機關、各鄉鎮街道，資料包括市政府及市級委辦局政務資料、視訊資料，事業機關資料等，經由資料資料交換子平台采集、歸集後：
1. 将資料存儲落地于市級資料湖，市資料湖中存儲貼源業務資料，并形成共享資料的資料資源門戶；
2. 由資料資料交換子平台将資料從市資料湖交換至資料治理工具；
3. 資料治理工具根據資料治理規則、資料标準、行業名額等特性，完成對源業務系統貼源資料的治理，形成高品質的業務資料；
4. 由資料資料交換子平台将經過治理的資料寫入至基礎庫和各類融合業務應用資料庫，在融合業務應用資料庫中進行資料的主題分類、次元模型分析、内容分析等業務操作，形成主題庫，并形成資料資源門戶；
5. 對于基礎庫和融合業務應用資料庫中高品質的業務資料，一則可通過資料資料交換子平台的交換功能對内提供各租戶間的資料共享；二則可通過資料資料交換子平台的共享功能對外提供對外的服務釋出與利用，包括對上層應用的資料支撐和對源各委辦部門的資料反哺。
從上述各原始資料源→市大資料資源中心→外部應用/各委辦的資料流向可以看出，市級大資料資源中心的資料庫設計需能夠滿足關系型資料、多種類型資料檔案、空間地理資料、半/非結構化資料、IoT資料、視訊影像資料等的存儲，并需要支撐各種多元、聚合資料的分析。
2、總體設計
是以，在本項目中XX市大資料能力平台的建設采用市級資料湖+基礎庫+主題庫+融合業務應用資料庫的資料存儲架構。具體，對于XX市大資料資源中心的建設規劃如下：
大資料資源中心
2.1 建設XX市資料湖
市級資料湖通過資料資料交換子平台與進行政務資料、物聯資料和視訊資料的交換。依據部門類别、資料源類别等，通過資料庫提供的多租戶功能建構資源隔離的租戶空間。市級資料湖中的共享資料依據中繼資料進行編目，建立動态更新的資料資源門戶。
市級資料湖的資料存儲規模龐大，需要支援存儲擴充和橫向、縱向遷移，直接用于分析的平均價值密度較低，通常需經過預處理、內建後，形成高品質的主題庫資料資源支撐不同的上層應用。
2.2 資料湖資料架構
市級資料湖是所有從外部資料源落地到市資料管理部門的統一資料存儲空間。市級資料湖将基于政務雲存儲服務和大資料支撐子系統提供的資料庫服務進行搭建，存儲通常包括分布式檔案存儲系統、關系型資料庫、NoSQL資料庫、列式存儲資料庫等類型，主要存儲政務、視訊和物聯三大類多源異構、未經加工的原始資料，需要支援存儲結構化、非結構化等多種類型的資料。
資料湖是存儲各種各樣原始資料的大型倉庫，其中的資料可供存取、處理、分析及傳輸。資料湖從全市委辦多個資料源擷取原始資料，并且針對不同的目的，同一份原始資料還可能有多種滿足特定内部模型格式的資料副本。是以，資料湖中被處理的資料可能是任意類型的資訊，包括結構化資料、半結構化資料和非結構化資料。基于以上，資料湖整體架構如下：
資料湖架構
3、建設XX市基礎庫
在本次項目中将基于數字XX市與XX市智慧城市大腦的建設需求，以資料湖資料資源為基礎，建設全市統一的基礎人口綜合庫、法人綜合庫、電子證照庫與空間地理資訊基礎庫，支撐全市基礎資料相關應用。
其中，電子證照基礎庫已經建成，而人口綜合庫、法人綜合庫與空間地理資訊庫則需要建立（或重建）。
3.1人口基礎庫建設
通過對人口綜合庫資料源的全面梳理，建構全市統一的、以公民身份号位為唯一辨別的、可共享的綜合人口資訊資源庫。基于綜合人口庫，實作全市人口資訊的彙聚治理、共享交換和應用服務，為開展跨部門、跨業務、跨區域的人口應用服務和資料共享，以及人口大資料分析、輔助決策等，提供全方位的人口資訊支撐。
人口庫管理應用提供對彙聚形成的人口資料的概況展示、人口個案查詢及多條件查詢、人口統計、人口畫像等應用功能，并提供針對人口資料處理規則、資料模型、字段來源、生命周期配置等管理維護功能。
人口庫
3.2 法人基礎庫建設
通過對法人庫資料源的全面梳理，對法人庫資料接入相關功能進行資料接入來源方面的功能整合開發。将原來由法人庫向資料提供部門采集且已（将）接入大資料資源平台的資料，通過相關資料接入功能整合開發，改由大資料資源平台直接向法人庫提供，不再需要相關資料提供部門重複提供。
建構全市法人資訊基礎資料庫後，能把原先碎片化存放的資訊歸集到法人名下，全面立體的展示法人相關資訊，并為全市其他平台和應用提供有力支撐。
法人基礎庫
3.3空間地理庫建設
基于規劃、國土資源等部門提供的圖資料、坐标系和坐标資料，采用GIS、遙感影像、三維模組化等技術，建構空間地理資訊庫，并将遙感影像、位址資料、政務資訊圖層等，與人口資訊、法人機關、宏觀經濟等進行整合，為全市政府部門和企事業機關提供統一的、綜合的空間地理資訊服務。
本次項目建設将整合房屋資訊和位址資訊，房屋資訊包括房屋位址、圖紙、産權人（身份證或統一社會信用代碼）、聯系人、聯系方式、開發機關、施工機關、房屋結構資訊及修改時間，并按照住宅、商業和公用事業進行分類。位址資訊主要為原有位址庫資料的整合、清洗、加工，提高位址資訊的資料品質，為城市管理和社會公共服務提供資料支撐。
4、AI賦能應用建設
4.1 AI賦能資料治理
大資料平台會歸集各委辦局及社會資訊資料到大資料共享中心，而各類資料的品質參差不齊，結構化資料和非結構化資料并行，想要資料得到有效的利用，發揮大資料的價值，就需要對相應的資料進行清洗、加工、歸類、結構化提取等。
4.2 AI賦能交通治理
針對交通卡口以及城市道路的視訊資料及圖像資料，對于交通事故、交通違章、精細化管理政策等，通過人工智能手段，即可實作自動化監控、智能化管理。
4.3 AI賦能路政治理
基于AI算法，結合相關資料，針對路政提供相應的符合XX市的智能路政管理平台，并從多個場景進行智能化管理。
4.4 AI賦能工地管理
智能工地管理采用智能化資訊化管理的模式對施工現場的人員、裝置、物資、安全、品質等做管理和控制，包括安全違規行為識别、人員及車輛進出管理、物料智能配置、高塔危險裝置監控等；
4.5 AI賦能城市安全
建構智慧城市的安全系統，需要做到對異常變化的敏銳感覺。要充分發揮人工智能的技術優勢，針對人、車、物、地、事件資訊進行實時采集與分析，将危險源、隐患、事故等資料相關聯關聯，實作對複雜場景的敏銳感覺與精準掌控。
4.6 AI賦能市場監管
建設全市統一的市場監管大資料應用服務，通過提供基礎監管資料庫、精準市場日常監管、市場監管資訊共享等關鍵資料名額服務，助力更新政府市場監管邏輯、消除資訊不對稱、增強監管合力、解決監管力量落差問題、降低市場監管成本。
基于大資料資源基于AI能力，建構基礎監管資料庫，提供精準市場日常監管、市場監管資訊共享等關鍵資料名額服務。
4.7 AI賦能智慧旅遊
彙聚全市旅遊相關的各類資料，包括：旅遊景點相關資料、旅遊行業企業資料、旅遊産業收入資料、旅遊遊客接待資料、遊客分布分析資料、全市居民外出旅遊相關資料等，建設全市統一、專業的旅遊資料庫，支撐全市各類與旅遊相關業務的資料應用。
4.8 AI賦能智慧農業
建設全市統一的農業大資料應用與展示服務，彙聚農業研究、環境、生産與市場相關資料，建構農業綜合資訊服務、農業資料監測預警、農業環境監測等關鍵名額資料服務，為指導全市農業生産與制定發展決策提供全面的資料支撐，推動農業快速與高品質發展。
4.9 AI賦能全民健康
建設全市集中、全面的市民健康大資料應用服務，通過彙聚全市醫療機構與個人健康相關資料，建設全市醫療資料共享、公衆健康指數等關鍵名額資料服務，助力降低醫療成本，預測流行病的爆發，改善全市人民健康狀況，提高整體生活品質。