天天看點

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

導讀:

HoloStudio為飛天大資料平台DataWorks互動式查詢産品,基于互動式分析引擎建構,由“執行個體管理-表管理-ETL開發-實時分析-圖形化運維診斷”等功能子產品構成,與Dataworks大資料生态相結合,提供了實時離線互動式分析到資料服務一站式大資料開發服務。

作者:柔惠/魉妹/趙紅梅

新一代實時互動式分析引擎于2019雲栖大會重磅釋出,互動式分析緻力于低成本、高性能、高可用的大規模計算型存儲和極緻的查詢能力,相容PostgreSQL,為使用者提供海量資料實時數倉解決方案和實時互動式查詢服務。

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

互動式分析引擎與MaxCompute直接打通,同時支援Blink實時寫入實時查詢,支援海量資料場景下的實時資料分析、離線資料實時分析、實時離線聯合分析,适用于實時大屏、實時BI報表、使用者畫像、監控預警等典型場景,資料開發流程主要分為以下三大類:

實時數倉場景

業務資料實時寫入實時計算,并将資料進行ETL處理,再由互動式分析實時查詢,最終輸出到第三方分析工具,實作實時資料的實時分析。該場景下的典型應用有:

  1. 資料部門的實時數倉、實時大屏、實時Reporting報表分析;
  2. 運維和資料應用的實時監控、實時異常檢測預警、實時Debug;
  3. 業務部門的實時風控、實時推薦、實時效果分析、實時訓練等;
無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

MaxCompute加速查詢場景

業務資料寫入離線數倉MaxCompute,由互動式分析直接加速查詢/導入查詢,再對接BI分析工具,輕松實作離線資料的實時分析。該場景下的典型應用有:

  1. 離線資料MaxCompute的實時查詢;
  2. 離線資料MaxCompute的報表實時分析;
  3. 離線資料MaxCompute的線上應用輸出(比如RESTful API)。
無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

實時離線聯邦分析場景

業務資料按冷熱分開存儲,冷資料存儲在離線數倉MaxCompute,熱資料存儲在互動式分析,通過互動式分析實作實時離線資料聯邦分析,再對接BI分析工具,快速響應簡單查詢與複雜多元分析的業務要求。

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

在飛天大資料平台全面更新、實時互動式分析需求極速增長的背景下,如何為互動式分析使用者提供标準化、無門檻的開發管理服務和一站式實時數倉建構服務躍然紙上,基于DataWorks平台的基礎能力,互動式分析和DataWorks團隊共同打造了一站式互動式開發平台--HoloStudio

(産品位址:

https://holostudio-cn-shanghai.data.aliyun.com/

) 感謝小夥伴們的關注,如果想快速體驗互動式分析和HoloStudio功能,釘釘搜尋加入“互動式分析交流群”)

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

核心能力

HoloStudio基于互動式分析互動式分析引擎建構,由“執行個體管理-表管理-ETL開發-實時分析-圖形化運維診斷”等功能子產品構成,與Dataworks大資料生态相結合,提供了實時離線互動式分析到資料服務一站式大資料開發服務,HoloStudio提供的核心能力總結為以下四點:

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

圖一:HoloStudio核心能力

HoloStudio目前已上線子產品包括項目空間多DB管理 、表管理、外部表管理、ETL開發,實時查詢和終端服務,下面給大家帶來主要子產品的功能詳解。

表管理

提供可視化和SQL兩種建表模式,滿足不同層次使用者需求。為适應多場景和開發人員的使用習慣,HoloStudio提供了多元化的開發模式,尤其是常用的表管理相關。

UI建内部表

UI模式的表管理元件,UI和SQL腳本關聯,滿足不同資料開發工程師的使用習慣。

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

圖二:HoloStudio 表管理架構

UI模式的表管理元件相容PostgreSQL DDL協定,與互動式分析引擎同步,在基礎資訊、索引、分區等上做了标準化分類,同時直接引用Dataworks資料分析子產品WebExcel滿足一鍵資料預覽和分析需求,讓使用者回歸專注于開發之中、減少跳轉。

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

圖三:互動式分析内部表UI方式建立示例

UI同步外部表

MaxCompute一鍵shcema同步建立外部表,亞秒級MaxCompute資料預覽和分析

互動式分析支援對MaxCompute資料進行直接互動式分許,無備援存儲,無額外資料內建工作,建立互動式分析外部表建立與MaxCompute目标分析表的Schema映射關系,即可直接分析MaxCompute裡的資料。

在MaxCompute目标分析表表字段多、或查詢分析場景頻繁的場景下,拷貝MaxCompute表DDL然後手動進行互動式分析外部表的綁定操作很繁瑣且容易出錯,HoloStudio利用DataWorks資料地圖管理MaxCompute中繼資料的天然優勢,自動擷取MaxCompute表Schema一鍵同步,是您貼身的好幫手。

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

圖四:MaxCompute Schema一鍵同步,直接加速預覽分析

ETL開發

智能排程和運維、實時離線互動式分析完整業務流

HoloStudio基于DataWorks的底層能力,為使用者提供一站式穩定高效的ETL服務,滿足使用者MaxCompute離線資料到互動式分析索引資料的周期建構、互動式分析實時資料周期性ETL作業等需求,且與DataStudio離線ODPSETL排程任務流串聯,實作完成的 odps ETL --> odps2Holo -->互動式分析互動式分析作業流。

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

圖五:MaxCompute周期性同步互動式分析

實時查詢

智能編輯器、秒級互動式查詢體驗

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

圖六:互動式分析亞秒級互動式查詢示例

PSQL終端

web端psql服務,滿足終端習慣客戶需求

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想

圖七:基于AppStudio的PSQL終端服務

構想

建構完善集資料內建、資料開發、資料分析、資料應用、資料治理于一體的一站式大資料開發平台一直是Dataworks的核心,HoloStudio後續将在互動式資料分析上基于互動式分析引擎和Dataworks生态快速疊代,從圖形化運維、query分析和診斷,到資料服務、資料可視化輸出、資料綜合治理進行深度耕耘和擴充。

互動式分析目前在阿裡媽媽内部各個BU廣泛應用,公共雲也已正式公測,歡迎大家體驗和合作,更多精彩請進釘釘群~

無限價值,瞬時洞察--沉浸式體驗盡在HoloStudio導讀: 核心能力構想