天天看點

浪潮集團資料中台建設方案(WORD)

作者:優享智慧方案
原文《浪潮集團資料中台建設方案》WORD格式,主要從資料中台總體設計思路、采集層、資料模型層、資料治理功能、能力開放平台、網管遷移方案等進行建設,适用于售前項目彙報、項目規劃、上司彙報。

來源網絡,旨在交流學習,如有侵權,聯系速删,更多參考公衆号:優享智庫

建設目标

針對本次系統接管與替換,在整體架構上考慮以中台支撐現有系統的發展,基于智慧平台建構的OSS資料中台,實作資料專業整合,打通專業資訊壁壘和資料孤島,提升資料規範化水準。實作資料集中存儲和業務邏輯的資料處理,包括按時間粒度和次元組合的資料彙總。同時資料中台中的資料可根據需要封裝後直接對上層應用開放。

資料資産自動彙聚、一鍵釋出

  • 資料資産多手段自動彙聚

通過三種手段實作資料處理相關的接口、模型、任務、服務、名額各環節中繼資料及血緣關系的自動擷取,同時釋出為資料資産。

  • 血緣關系自動擷取,自動擷取資料實體間的上下遊資訊,字段之間轉換關系。
  • 血緣關系登記錄入:在無法自動擷取血緣關系的場景下,提供血緣關系登記錄入界面,以補充完整資料血緣關系。
  • 中繼資料登記錄入:支援資料實體的批量錄入功能,能夠滿足實體實體及其中繼資料資訊的快速建立。
浪潮集團資料中台建設方案(WORD)
  • 資料資産一鍵釋出

依托統一的中繼資料庫,将開發完成的标簽、名額資料一鍵釋出到标簽庫、名額庫、。

标簽庫:展現企業的标簽資料,用于包括開發人員、業務人員、運維人員了解系統标簽庫的現狀,支撐其進行資料訂閱使用、生命周期管理等應用。

名額庫:展現企業的名額資料,用于包括開發人員、業務人員、運維人員了解系統标簽庫的現狀,支撐其進行資料訂閱使用、生命周期管理等應用。

資料資産可視、可用、可管理

  • 強化中繼資料管理能力

将資料開發過程和中繼資料登記錄入過程融合,實作中繼資料資訊的自動錄入。

  • 實作資料開發的統一管控

資料生産各環節的開發工作基于資料管理子產品實作,各環境的中繼資料資訊自動擷取,并同步給其他應用系統,確定應用系統的中繼資料資訊與資料管理子產品一緻。

  • 資料資産應用審批

確定資料資産安全,上層應用或使用者申請資料使用時,需要通過流程審批。

  • 資料對外開放資訊完整

提供樣例資料查詢,字段級統計資料查詢,以友善開發人員選擇所需資料資産。

資料品質可控、可視、可追溯

  • 資料标準落地

結合湖南移動網絡運維與業務發展要求,梳理适合本地的資料标準,并基于資料管理子產品完成資料标準的IT落地。

  • 資料血緣關系可視

通過資料生産各環節的中繼資料資訊自動擷取,形成端到端的資料血緣關系,通過可視化手段呈現資料血緣關系。

  • 端到端資料品質監控

依托資料标準與資料血緣關系的建構,建立資料品質稽核告警與端到端可視化呈現機制,品質情況可監控,可量化。

建設思路

浪潮集團資料中台建設方案(WORD)

系統整體分為資料采集層、資料模型層、能力開放層及功能域。

  • 資料采集層:采集層采用子產品化設計思想,從業務功能上分為采集擴充卡、資料處理層、采集排程層、資料共享層四個層次,并通過系統自身管理子產品實作自身的業務邏輯控制和管理,通過多元監控和品質管理,實作對系統平台的實時多角度監控與資料品質管理;同時,開放标準化的外部管理接口,以實作對外的可管理性。業務功能層面,每層隻需要關心本層的資料、業務邏輯和業務實作,層與層之間通過标準接口進行互動,能更好地實作系統的可擴充性。
  • 資料模型層:結合業界規範和多年的O資料資料模組化經驗,綜合考慮了資料特點、存儲方式、處理效率、處理複雜度、通路效率及模型擴充性等方面,采用了模型分層設計的思想,分為原始資料層、基礎資料層、融合資訊層、應用資料層四層,實作了資料源和加工處理過程的分離,保證了資料流向清晰,提高了資料通路效率等。
  • 能力開放層:主要提供釋出訂閱模式、異步模式、同步模式等不同模式的資料開放共享。
  • 資料治理功能域:提供對資料的統一治理能力,主要包括資料标準管理、中繼資料管理、資料資産管理、資料安全管理和資料品質管理等能力。

建設方案

采集層

采集适配子產品

采集适配子產品實作網元直連網管接口采集和OMC北向接口适配采集;采集擴充卡層接收采集任務,實作與裝置側的接口協定适配,從裝置側擷取原始資料,進行資料采集,采集擴充卡的功能組成如下:協定适配、資料擷取,并支援被動接收裝置側發送的資料。采集的源資料通過擴充卡北向接口向上共享。

采集擴充卡支援實時資料、非實時資料;協定接口類型支援檔案接口、資料庫接口、指令接口、Syslog接口、NetFlow接口、SNMP接口、CORBA接口等主流網管接口類型,同時支援接口類型的擴充。

系統提供采集擴充卡的注冊、動态加載及登出功能,并提供采集、處理擴充卡參數配置界面,以及擴充卡狀态檢視功能。并對擴充卡進行手工的狀态變更,比如啟動、停止、重新開機等操作。

采集過程資料檢測

能夠及時檢測裝置側發送過來的檔案準備好消息通知或者原始資料準備情況,資料準備好消息接收到後立即進行采集;資料始終未達到設定的完整标準,也能把部分準備好的資料進行采集,可配合廠商側的情況,盡最大可能完整及時的采集資料。

資料處理擴充卡

資料處理擴充卡接收排程中心的資料處理指令,将采集擴充卡生成的資料進行處理、關聯運算,通過ETL過程将資料錄入到資料庫中。

資料處理适配層接收處理任務,對資料進行解析、格式化,并根據需要進行,風暴抑制、資料上報、KPI名額計算。原始資料、格式化資料、KPI名額均可以推送到資料共享層,可以檔案、資料庫、消息等方式進行傳送和儲存。可以有選擇地提供告警資料過濾能力。

資料采集政策的定制管理

根據第三方應用,或者定制的配置、性能和告警資料的特性,采用不同的政策利用導航方式建立采集流程,描述了在何時到何地采集什麼樣的資料。

以向導式根據不同業務需求建立合适的采集政策。

根據性能、配置和告警資料的特性,采用不同的政策建立流程,明确建立過程,降低使用者輸入錯誤率。

浪潮集團資料中台建設方案(WORD)

建立政策的步驟有采集資料(資料源和資料集)、處理資料(标準化)和制定政策。描述了在何時到何地采集什麼樣的資料。

浪潮集團資料中台建設方案(WORD)
浪潮集團資料中台建設方案(WORD)
浪潮集團資料中台建設方案(WORD)
浪潮集團資料中台建設方案(WORD)

資料補采

當任務執行失敗後,具有對某個環節進行一定的重做能力,包括重新采集和資料處理環節的重做;補采主要是指自動補采的能力,根據補采的規則進行任務級别的補采。

浪潮集團資料中台建設方案(WORD)

采集排程子產品

采集排程子產品實作對各類采集任務的統一排程管理;

(1)根據政策,生成相應的任務,進行分發。

(2)接收擴充卡發送來的采集任務執行情況檢視請求,如:采集節點的記憶體、CPU、磁盤占用率,采集節點目前正在運作任務的情況。

(3)接收自動補采子產品發送的任務資訊,然後對該任務進行分發。

(4)任務的重做或補采: 當任務執行失敗後,具有對某個環節進行一定的重做能力,包括重新采集和資料處理環節的重做;補采主要是指自動補采的能力,根據補采的規則進行任務級别的補采。

(5)通過消息通道,發送任務消息到采集擴充卡。

(6)負載均衡政策,保持各采集擴充卡負荷基本均衡,進行動态的負載分擔,可以參考采集擴充卡硬體配置、CPU占用率、記憶體總量、記憶體占用率和采集機空閑線程數、任務負載權重等資訊。

(7)在采集擴充卡出現異常後,能夠把未執行完成的任務重新執行。

(8)容災能力:包括三種級别的容災,即任務、擴充卡執行個體和排程中心容災。任務級别的容災是指當擴充卡執行個體當機時,該擴充卡執行個體中的任務可以切換到其他擴充卡執行個體中執行;擴充卡執行個體級别的容災是指當一個擴充卡執行個體當機時,該擴充卡的其他執行個體可以接管任務的執行;排程中心級别的容災是指一個排程中心服務當機後,其他排程中心服務可接管排程工作。

采集政策接收

接收從資料共享層下發的政策資訊,并把這些政策資訊儲存。這裡的政策是指:采集的任務,該去哪個範圍去采集,用什麼頻率去采集等。

采集目标網元資源與綜合資源資料資訊相關聯,能夠自動識别、同步網元資訊,并能自動化完成采集關關聯作。

任務生成

根據政策資料生成任務,任務中包含采集源辨別、名額組清單、采集的起始時間、結束時間、網元資訊、任務唯一辨別。具有任務啟停功能,即對已經停止或需要啟動的采集任務,在界面上單擊啟動按鈕,啟動采集任務,對已經在運作的采集任務單擊停止按鈕,停止采集任務。

任務分發

接收任務生成子產品生成的任務,進行分發。接收狀态監控子產品發送來的采集任務執行情況檢視請求,如:采集節點的記憶體、CPU、磁盤占用率,采集節點目前正在運作任務的情況。接收自動補采子產品發送的任務資訊,然後對該任務進行分發;通過消息通道,發送任務消息到采集擴充卡。

任務分發能夠判斷系統是否支援分布式軟體部署,并能夠依據各采集節點的負荷忙閑情況每次總是優先選擇負荷最低的采集節點下發采集任務,以實作計算資源的負荷分擔。

(1)接收任務生成子產品生成的任務,進行分發。

(2)接收擴充卡發送來的采集任務執行情況檢視請求,如:采集節點的記憶體、CPU、磁盤占用率,采集節點目前正在運作任務的情況。

(3)接收自動補采子產品發送的任務資訊,然後對該任務進行分發。

(4)通過消息通道,發送任務消息到采集擴充卡。

(5)負載均衡政策,保持各采集擴充卡負荷基本均衡,進行動态的負載分擔,可以參考采集擴充卡硬體配置、cpu占用率、記憶體總量、記憶體占用率和采集機空閑線程數、任務負載權重等資訊。

(6)在采集擴充卡出現異常後,能夠把未執行完成的任務重新執行。

下圖描述了性能、配置和告警資料采集的整體排程過程,分為兩個階段:消息觸發和任務運作。

浪潮集團資料中台建設方案(WORD)

該架構包含了同步和異步的采集機制,異步方式的分離,有利于采集過程的統一。

具備負載均衡排程能力。可以通過采集機資源空閑優先等(根據排隊任務數、CP負荷、記憶體占用率、IO等)政策選擇合适的擴充卡執行個體完成資料的采集。

統一采集系統采用負載均衡管理實作采集節點的擴充和任務的均衡配置設定,但當單個或多個采集節點由于突發原因出現高負荷時,按照正常的動态配置設定和擴充機制會造成高負荷節點向其他采集節點波及,影響其它正常采集節點,進而導緻整個采集層效率下降,請較長的描述該問題的解決方法。

系統采用分布式雲部署,排程也是雲排程。在負載均衡過程中,系統采用最優擴充卡算法,即根據采集機負荷的評估動态選擇合适的擴充卡執行個體,可以有效的利用分布式資源,進而高效的進行任務排程,確定采集任務的及時、高效。

浪潮集團資料中台建設方案(WORD)

排程中心與擴充卡友善的進行熱插拔式的更新擴容。

新增的排程中心可即時分擔排程工作,更新則可以将原來的重新開機,可實作24小時運作服務。

浪潮集團資料中台建設方案(WORD)

新增的擴充卡執行個體可即時分擔采集工作,更新則可以将原來的重新開機,可實作24小時運作服務。

浪潮集團資料中台建設方案(WORD)

此兩者容災的能力将使整套架構均能達到每一層的擴容能力,即任何一層中的服務都可以随時增加,而不會對系統運作造成緻命的影響。

系統支援采集任務遷移功能,遷移1000個任務所需時間:0.1秒左右。

自動補采

接收狀态監控子產品發送的采集任務執行情況,自動判斷資料是否完整,在資料不完整情況下根據設定的補采政策,重新生成采集任務,發送這些任務給任務分發子產品,重新采集資料。補采政策中包含某采集源的名額組在不完整情況補采次數、補采時機等資訊。補采的機制要支援周期補采、自定義補采或幂指數補采,同時支援手工進行補采。

當任務執行失敗後,具有對某個環節進行一定的重做能力,包括重新采集和資料處理環節的重做;補采主要是指自動補采的能力,根據補采的規則進行任務級别的補采。

浪潮集團資料中台建設方案(WORD)

當統一采集系統與單個或多個采集源中斷,造成一定數量的采集資料積壓時,以告警采集為例,當出現采集源中斷情況時,往往經過自動補采,過段時間會自動重連上采集源,但是由于告警量比較大,會造成短時間的告警資料大量過來,首先采集擴充卡與處理擴充卡是分布式部署的,各自的環境并不互相依賴,而且,處理擴充卡采用分布式雲計算方法,已經足以處理資料積壓情況下的資料處理,是以,統一采集平台會既確定目前資料的采集正常,又有效将曆史積壓資料正常采集處理。

狀态監控

對下發到采集機上的采集任務的執行情況監控,如有某一采集任務某次采集有問題,及時進行處理保證資料采集的連續性。

實時監控任務全生命周期各個環節:未下發任務、正在執行的任務和異常結束的任務,提供單個任務的流程拓撲圖,端到端檢視相應環節的執行情況。

浪潮集團資料中台建設方案(WORD)

當出現異常任務時,系統除支援自動補救以外,還可以進行手工的補救以及分環節的補救。

采集節點負荷異常的影響範圍控制

系統考慮了采集的資料分級,在緊急情況下能保證進階别資料的采集完備性;對于采集節點的負荷也進行分級監控,采集的新增、調整、停止也充分考慮到各個采集機的負荷情況,調整機制完備;極限情況下,低級别采集任務的停止、或是否新增能夠提示管理者進行幹預,同時支援未幹預條件下的自動執行機制,機制合理、安全。

高安全平台容災機制

排程中心池可承載多個排程中心,進而達到排程中心級别容災。

浪潮集團資料中台建設方案(WORD)

可以為一個擴充卡啟動多個執行個體,進而達到擴充卡級别容災。

浪潮集團資料中台建設方案(WORD)

此兩者容災的能力将使整套架構均能達到每一層的容災能力,即任何一層中的裝置當機都不會對系統運作造成緻命的影響。

更高效負載均衡能力

系統采用最優擴充卡算法,即根據采集機負荷的評估動态選擇合适的擴充卡執行個體,可以有效的利用分布式資源,進而高效的進行任務排程,確定采集任務的及時、高效。

浪潮集團資料中台建設方案(WORD)

熱插拔式更新和擴容能力

浪潮集團資料中台建設方案(WORD)

此兩者容災的能力将使整套架構均能達到每一層的擴容能力,即任何一層中的服務都可以随時增加,而不會對系統運作造成緻命的影響。

資料模型層

結合業界規範和多年的大資料建設經驗,浪潮提供完整、合理、準确的資料模型建設方案。

浪潮集團資料中台建設方案(WORD)
  • 采用了模型分層設計的思想

綜合考慮了資料特點、存儲方式、處理效率、處理複雜度、通路效率及模型擴充性等方面,采用分層的模型設計思想,按照原始資料層、基礎資料層、融合資訊層和應用資料層建設。

  • “自頂向下”和“自底向上”相結合的模組化方法

采用“自頂向下”和“自底向上”相結合的模組化方法,對資料模型體系結構分層設計。

  • 遵循“概念模型-邏輯模型-實體模型”的三階段五步實施法

每層模型通過概念-邏輯-實體的三個階段,按照概念模型設計、資料源系統評估、邏輯模型設計、實體模型設計與實施、模型驗證與優化的五個步驟進行實施落地。

  • 邏輯分層、實體分布式存儲的模型存儲設計

基于資料的分層模型結構,結合實際技術選型,資料采用邏輯分層,實體分布式存儲的方式,并對典型資料的處理流程、通路流程進行設計規劃。

  • 合理的模型存儲計算部件選擇

結合各層資料的特點(資料量、通路頻度、存儲周期等)和各項技術的特性(存儲、計算、查詢、擴充等方面),對各層模型的存儲計算部件進行合理規劃。

模組化方法思路

資料中台資料模組化的基本思想:

  • 采用概念模型、邏輯模型、實體模型三階段模組化方式;
  • 自頂向下”方式為主,從業務需求出發,分析研究業務需求中的業務場景,提煉業務資料,界定系統的資料範圍,劃分主題域,對業務資料進行分類,建構抽象實體,最終梳理出業務實體,以及實體之間的關聯關系,通過實體及實體間關系表示業務規則;
  • “自底向上”方式為輔,從源系統入手,研究和識别源系統内的資料實體,并對資料實體進行分類;将實體以及實體的分類結果與“自頂向下”方式梳理出的結果進行對比,驗證模組化結果的合理性,并進行修正;
  • “自頂向下”和“自底向上”兩種方式互相協作,不斷疊代演進,逐級細化,建構出資料模型;
  • 充分考慮未來的業務分析需求,對于一些通用概念和結構采用相同的模型設計,進而保證了公用和未來擴充的需求;
  • 遵循業界通用标準和方法論(SID),保證模型的适用性;

模型設計思路

遵循模型設計規範要求,采用“自頂向下”和“自底向上”相結合的模組化方法。 根據業務需求設計應用層模型,根據資料源模型設計ODS、BDS、CIS層模型,在CISADS間實作資料的結合。

浪潮集團資料中台建設方案(WORD)

模型設計原則

  • 标準化、規範化原則

資料模型應遵從統一的主題域劃分和實體命名規則,保證模型的标準化和規範化;

  • 先進性原則

要求邏輯模型在設計上吸收業界、國内外優秀的模組化經驗與方法,確定模型的先進性;

  • 一緻性原則

資料模型的設計要能夠確定資料的一緻性,消除各資料源的資料不一緻性,以保證資料模型内的資訊是關于整個企業一緻的全局資訊;

  • 擴充性原則

要求資料模型具備良好的可擴充性,支援對模型的疊代性演進。當業務需求提出新問題或有新的資料加入模型時,要求資料模型能夠確定現有的資料和應用都不發生改變,更不得導緻系統崩潰;

  • 自上而下的設計與自下而上的驗證原則

資料模型是為業務分析服務的,是以在建立模型時,應以業務需求為驅動。根據業務需求采用自上而下的方法設計并實作資料模型,并且采取疊代演進的模式,逐漸豐富資料模型,逐漸求精。同時,為了驗證設計與實作的合理性與正确性,要求以實際資料對模型進行自下而上的驗證;

  • 簡單可識别原則

實體命名等要遵循簡潔、能直接識别出業務意義的原則。

資料模組化步驟

資料模組化五步法如下:

浪潮集團資料中台建設方案(WORD)
  • 概念模型設計:
  1. 分析業務需求,确定範圍定義,确定概念模型
  2. 生成名額集,區分基本名額、衍生名額,作為業務中繼資料梳理
  3. 明确接口需求
  • 資料源系統評估評估資料品質與提供能力,進行字段屬性取舍、整合明确接口規範确定業務模型
  • 邏輯模型設計
  1. 明确邏輯模型實體、屬性、主鍵、關聯
  2. 确定實體加載算法,新增、修改
  • 實體模型設計與實施建立實體模型,映射文檔;生成模組化語句、資料映射腳本執行腳本進行實體模型落地
  • 模型驗證與優化
  1. 按照業務需求對模型的支撐能力、效率等進行驗證
  2. 優化調整模型結構,形成最終模型

資料模型分層架構設計

分層架構設計原則

結合業界規範和多年的大資料建設經驗,綜合考慮了資料特點、存儲方式、處理效率、處理複雜度、通路效率及模型擴充性等方面,采用了模型分層設計的思想,分為原始資料層、基礎資料層、融合資訊層、應用資料層四層,實作了資料源和加工處理過程的分離,保證了資料流向清晰,提高了資料通路效率等。

浪潮集團資料中台建設方案(WORD)
  • 原始資料層
  1. 作為資料緩沖區,減少對資料源系統壓力;便于問題回溯及資料重新處理
  2. 與資料源的模型保持一緻
  • 基礎資料層
  1. 做為穩定的基礎資料層,主要做歸一化處理(資料的清洗、關聯整合、編碼統一據機關統一等),
  2. 采用實體-關系模組化,模型遵循第三範式
  • 融合資訊層
  1. 存儲彙總資料,為使用者自主分析應用提供支撐
  2. 采用次元模組化方式,支援星型模型和雪花模型;其中業務相關性較高的資料合并為寬表
  • 應用資料層
  1. 對彙總資料層資料進行重新組織滿足部門、地市、專題個性化需求,快速響應使用者需求。
  2. 采用反範式的模組化方式

資料模型分層設計

基于資料的分層模型結構,結合實際技術選型,資料采用邏輯分層,實體分布式存儲的方式。

浪潮集團資料中台建設方案(WORD)

各層模型存儲

  • 原始資料層:資料存儲在接口層内,實體上存儲在接口機磁盤及Kafka叢集内。
  • 基礎資料層:使用者詳單資料(信令相關)存儲在HBase叢集内,經清洗歸一化後的非使用者詳單資料存儲在MPP資料庫内。
  • 融合資訊層:經彙總後的各類資料存儲在MPP資料庫内。
  • 應用資料層:針對上層應用的資料存儲在關系型資料庫内。

資料治理功能

統一資料标準管理

按照資料中台建立資料标注内容,實作對資料标準的統一管控。

針對青海移動資料标準體系中規定的各類資料對象分類、資料分層、資料分域、資料命名規則、資料編碼規則等各類标準進行界面化統一管理,指導。

資料标準管理子產品對資料标準提供系統工具支撐,包括标準管理、标準展示、标準監控三大功能。面向資料管理者提供标準釋出、審批管理等功能;面向資料維護者提供标準維護、稽核、版本管理等功能;面向資料提供者和消費者提供查詢、提取、核對及分析等功能,全面提供資料标準服務能力。

統一資料模組化

基于資料标準和中繼資料管理體系,提供可視化的模組化工具,構造最優的資料庫模式,建立資料庫及其應用系統,能夠有效地存儲資料,滿足大資料治理需求。

系統提供基于中繼資料管理圖形化資料模組化工具,提供模型的設計、稽核、實施、驗證;包含實體模型的設計、名額模型、分析模型的設計等。

浪潮集團資料中台建設方案(WORD)

統一資料加工

根據業務需求及各類技術特點,對平台内的不同類型資料采用不同的資料處理技術及流程,主要分為大資料處理流程、傳統資料處理流程、實時流資料處理流程。

統一資料資産

資料資産是指已認證資料清洗規則配置,并進行任務校驗後的有效資料或是系統中的資産資料,以不同的方式呈現給使用者,或供使用者使用。資料資産以資産的角度開展資料管理工作,為解決目前普遍存在的需求分散重複、口徑模糊等問題,實作成果和經驗的共享和積累,友善實作應用和資料的生命周期的自動化管理。資料資産化包含了資料資産梳理盤點和資料價值評估的過程。

統一資料品質管理

系統支援對業務資料進行全面的品質管理,通過資料品質的管理辦法、組織、流程以及評價考核規則的制定,及時發現并解決資料品質問題,提升資料的完整性、及時性、準确性和一緻性,進而提升資料的價值。

基于資料架構體系,為平台提供全程的端到端資料品質管控;

浪潮集團資料中台建設方案(WORD)

統一資料共享與開放

以獨立的功能元件“資料共享子產品”統一實作對外的資料共享,通過采用階層化、面向開放共享的技術架構,将系統的應用與資料解耦,形成相對穩定、獨立、開放的資料共享子產品,支撐上層各類應用及外部系統的資料需求,實作“一個資料平台,支撐多樣化内、外部應用”的目标。

浪潮集團資料中台建設方案(WORD)

能力開放

浪潮集團資料中台建設方案(WORD)

資料開放門戶實作了對共享平台的名額、模型、資料開放服務的統一管理、展示及線上申請訂閱功能。

資料資産開放

從模型角度展示平台資料資産,展示目前平台内已具備的模型情況,提供分領域、分專題的導航

名額開放

從名額角度展示平台資料資産,展示目前平台内已具備的名額情況,提供分領域、分專題的導航。實作對平台管理的名額進行統一呈現,包括對名額進行全局搜尋、按照接入系統對名額進行分類統計、按照次元實作對名額的過濾等等功能。

資料服務超市

展示平台對外釋出的服務資訊,支援服務的申請及調用。

網管遷移方案

話務網管建議不再考慮單獨建設,基于資料中台提供服務能力支撐目前話務報表及各種需求,整體架構如下:

浪潮集團資料中台建設方案(WORD)

BI工具

iQuery(Data Vision & Multidimension) 大資料智能分析平台定位為一個以大資料可視及資料分析為主的下一代雲端分析産品,開放大資料可視、多元分析二個方面的能力。iQuery是一款多元分析工具,定位于資料的探索新分析場景,針對高次元、需求不明晰、量級大的資料提供即席分析能力。在資料支援能力上,不僅支援傳統的關系型資料庫,還支援中等數量級的MPP以及海量級别的Hadoop平台,在可視化分析能力上,不僅提供了豐富的可視化元件,還提供了使用者的操作台,以歸納使用者的分析結果。

産品架構

iQuery由可視化模組化(ModeBuilder)、預彙總(PreEngine)、資料服務(Server)、可視化分析器(Analyser)四部分組成,各元件之間互相獨立,以Rest方式進行通信和資料交換。

浪潮集團資料中台建設方案(WORD)

功能說明

功能名稱 功能描述
自定義 自定義,拖過拖拽的形式做報表,能呈現定義報表的使用者名稱,如系統或個人,報表能對外共享
運算符可視 運算按鈕內建到前台,包括加減乘除,最大最小,同比環比,求和求平均,TOP,過濾等
算法可視 支援名額的算法可視,支援上層及底層OMC映射,比如掉話率=掉話次數/系統應答次數,并分别解釋掉話次數,系統應答次數對應到各個OMC的原始Counter
名額導航 名額導航,支援名額在左側樹圖中快速查找
資料錄入 支援資料手工錄入,稽核并彙總
資訊推送 将使用者關注的報表以短信,郵件等形式推送給使用者
小顆粒名額實時重新整理 圖形化界面呈現的名額,如果名額的最小時間粒度是分鐘,系統呈現的時候支援實時重新整理
統計次元可根據使用者需求自行設定,精确至區縣、網格、代維機關等;
統計時間可以靈活配置 建議名額提取的時間選取可以進行組合和多選,某個時間段内以及連續時間段的都可以。
導出功能具備圖樣 系統界面中的柱狀圖,餅狀圖均可以導出并二次編輯
能否導入現有表的表頭 由于現在大部分上報的報表具有固定的表頭,能否導入現有表的資料表頭,實作資料的提取
中繼群資訊維護
提供批量導入的界面作為場景次元 使用者提供模闆,例如包括地市,區縣,小區名稱,LAC,CI等,該模闆可作為次元進行拖拽,使用者再自行拖拽使用的名額,最終呈現該場景下所有的名額
浪潮集團資料中台建設方案(WORD)
浪潮集團資料中台建設方案(WORD)
浪潮集團資料中台建設方案(WORD)

繼續閱讀