天天看點

大資料可視化及發展趨勢大資料可視化及發展趨勢

大資料可視化及發展趨勢

大資料可視化是什麼

資料可視化要根據資料的特性,可視化要根據資料的特性,如時間資訊和空間資訊等,找到合适的可視化方式,例如圖表(Chart)、圖(Diagram)和地圖(Map)等,将資料直覺地展現出來,以幫助人們了解資料,同時找出包含在海量資料中的規律或者資訊。資料可視化是大資料生命周期管理的最後一步,也是最重要的一步。

資料可視化起源于圖形學、計算機圖形學、人工智能、科學可視化以及使用者界面等領域的互相促進和發展,是目前計算機科學的一個重要研究方向,它利用計算機對抽象資訊進行直覺的表示,以利于快速檢索資訊和增強認知能力。

資料可視化系統并不是為了展示使用者的已知的資料之間的規律,而是為了幫助使用者通過認知資料,有新的發現,發現這些資料所反映的實質。

大資料可視化及發展趨勢大資料可視化及發展趨勢

大資料可視化的基本概念

1) 資料空間。由n維屬性、m個元素共同組成的資料集構成的多元資訊空間。

2) 資料開發。利用一定的工具及算法對資料進行定量推演及計算。

3) 資料分析。對多元資料進行切片、塊、旋轉等動作剖析資料,進而可以多角度多側面的觀察資料。

4) 資料可視化。将大型資料集中的資料通過圖形圖像方式表示,并利用資料分析和開發工具發現其中未知資訊。

大資料可視化的實施

大資料可視化的實施是一系列資料的轉換過程,如下圖所示:

大資料可視化及發展趨勢大資料可視化及發展趨勢

我們有原始資料,通過對原始資料進行标準化、結構化的處理,把它們整理成資料表。将這些數值轉換成視覺結構(包括形狀、位置、尺寸、值、方向、色彩、紋理等),通過視覺的方式把它表現出來。例如将高中低的風險轉換成紅黃藍等色彩,數值轉換成大小。将視覺結構進行組合,把它轉換成圖形傳遞給使用者,使用者通過人機互動的方式進行反向轉換,去更好地了解資料背後有什麼問題和規律。

從技術上來說,大資料可視化的實施步驟主要有四項:需求分析,建設資料倉庫/資料集市模型,資料抽取、清洗、轉換、加載(ETL),建立可視化分析場景。

1) 需求分析

需求分析是大資料可視化項目開展的前提,要描述項目背景與目的、業務目标、業務範圍、業務需求和功能需求等内容,明确實施機關對可視化的期望和需求。包括需要分析的主題、各主題可能檢視的角度、需要發洩企業各方面的規律、使用者的需求等内容。

2) 建設資料倉庫/資料集市的模型

資料倉庫/資料集市的模型是在需求分析的基礎上建立起來的。資料倉庫/資料集市模組化除了資料庫的ER模組化和關系模組化,還包括專門針對資料倉庫的次元模組化技術。次元模組化的關鍵在于明确下面四個問題:

  1. 哪些次元對主題分析有用?
  2. 如何使用現有資料生成維表?
  3. 用什麼名額來"度量"主題?
  4. 如何使用現有資料生成事實表?

3) 資料抽取、清洗、轉換、加載(ETL)

資料抽取是指将資料倉庫/集市需要的資料從各個業務系統中抽離出來,因為每個業務系統的資料品質不同,是以要對每個資料源建立不同的抽取程式,每個資料抽取流程都需要使用接口将中繼資料傳送到清洗和轉換階段。

資料清洗的目的是保證抽取的原資料的品質符合資料倉庫/集市的要求并保持資料的一緻性。

資料轉換是整個ETL過程的核心部分,主要是對原資料進行計算和放大。資料加載是按照資料倉庫/集市模型中各個實體之間的關系将資料加載到目标表中。

4) 建立可視化場景

建立可視化場景是對資料倉庫/集市中的資料進行分析處理的成果,使用者能夠借此從多個角度檢視企業/機關的營運狀況,按照不同的主題和方式探查企業/機關業務内容的核心資料,進而作出更精準的預測和判斷。

大資料可視化的挑戰

大資料可視化面臨的挑戰主要指可視化分析過程中資料的呈現方式,包括可視化技術和資訊可視化顯示。大資料可視化的方法迎接了四個“V”的挑戰,同時這也是4個機遇。

  • 體量(Volume):使用資料量很大的資料集開發,并從大資料中獲得意義。
  • 多源(Variety):開發過程中需要盡可能多的資料源。
  • 高速(Velocity):企業不用再分批處理資料,而是可以實時處理全部資料。
  • 品質(Value):不僅為使用者建立有吸引力的資訊圖和熱點圖,還能通過大資料擷取意見,創造商業價值。

大資料可視化的發展趨勢

大資料時代,大規模、高緯度、非結構化資料層出不窮,要将這樣的資料以可視化形式完美的展示出來, 傳統的顯示技術已很難滿足這樣的需求. 而高分高清大螢幕拼接可視化技術正是為解決這一問題而發展起來的, 它具有超大畫面、純真彩色、高亮度、高分辨率等顯示優勢, 結合資料實時渲染技術、GIS空間資料可視化技術,實作資料實時圖形可視化、場景化以及實時互動,讓使用者更加友善地進行資料的了解和空間知識的呈現,可應用于指揮監控、視景仿真及三維互動等衆多領域.

繼續閱讀