天天看點

曆經3年的打磨,資料建構及管理平台Dataphin增加了什麼新功能?

簡介: 自Dataphin産品上線以來,經曆3年的疊代打磨,在2021年5月15日釋出新版本,主要涉及資料源類型拓展,資料內建、實時研發、資料服務功能更新,運維體驗優化等,将滿足更多使用者場景,提升研發體驗。

-更多關于數智化轉型、資料中台内容請加入阿裡雲資料中台交流群—數智俱樂部 和關注官方微信公總号(文末掃描二維碼或點此加入)

-阿裡雲資料中台官網 https://dp.alibaba.com/index

Dataphin即智能資料建構與管理平台

旨在提供從資料接入到資料消費的全鍊路、一站式的大資料能力,包括産品、技術和方法論等,以助力企業打造标準統一、融會貫通、資産化、服務化、閉環自優化的智能資料體系。

版本新特性概況

自Dataphin産品上線以來,經曆3年的疊代打磨,本次2.9.4.2版本在2021年5月15日釋出,主要涉及資料源類型拓展,資料內建、實時研發、資料服務功能更新,運維體驗優化等,将滿足更多使用者場景,提升研發體驗:

曆經3年的打磨,資料建構及管理平台Dataphin增加了什麼新功能?

功能更新亮點摘要

1、新增資料源

新增支援Hologres資料源類型,用于後續Hologres資料同步內建,及後續實時Blink任務讀寫使用。

對于使用Hologres資料源的使用者來說,Dataphin支援從Hologres資料內建至計算引擎及多種資料源,同時可從計算引擎及資料源回流至Hologres;支援Blink任務實時讀寫Hologres資料,且在Dataphin流批一體場景中,Hologres可以用作批流一體的統一存儲服務,實時查詢實時寫入,無備援資料搬遷工作,大幅提升研發效率。

功能場景a. 資料源引入

功能場景b. 離線資料內建

功能場景c. 流批一體

  • 定義Hologres元表,指定資料源及來源表
  • 定義流批虛拟鏡像表,指定鏡像表映射的批流分别寫入的實體表,由于Hologres同時支援離線與實時讀寫,是以兩邊實體表可以均為Hologres表
  • 建立Blink流批一體任務,指定批流參數配置及任務配置,代碼邏輯一緻,一套代碼實作兩種排程時效
  • Dataphin流批一體架構圖

2、Blink實時任務支援代碼采樣調試

Blink實時任務支援代碼采樣調試,采樣資料支援本地上傳檔案資料、線上抽樣資料、線上編輯輸入資料三種方式,僅相容支援blink-3.6及以上版本。

更新前Blink任務不支援本地調試,無法在草稿态時驗證作業開發的資料正确性,需要送出到運維後啟動運維的測試執行個體進行驗證,送出任務之前無法驗證。

更新後在送出Blink任務之前可以進行本地資料采樣,并在Console中輸出任務運作結果,可以即時檢查代碼邏輯是否正确、輸出結果是否符合預期等,驗證正确再進行任務送出,有效保障了任務品質及開發效率。并且我們支援三種采樣方式!自動抽樣資料來源表資料、上傳本地csv檔案(提供樣例可下載下傳),或者直接在采樣的面闆中進行資料輸入,靈活且友善。

3、運維清單展示對象拓展

運維清單每頁展示對象拓展至100個,預設展示20/頁,可切換20/40/60/80/100個/頁;運維任務DAG圖中支援檢視物化代碼及運作日志時自動定位到對應物化節點,提升運維效率

4、資料服務子產品支援新離線資料源

資料服務子產品新增支援AnalyticDB for MySQL 3.0 離線資料源。

新增資料服務管理者角色,作為API權限申請、服務單元權限申請及資料源權限申請的審批人,加強API資料服務出口的權限管控強度,限制API開發者本人對API的廣泛應用權限,需設定專人進行權限審批,API應用安全及權限管控效力大幅增強。

版本小結

本次5月釋出的V2.9.4.2版本中,Dataphin圍繞資料源、通用研發、實時研發、運維、資料服務進行功能疊代。

在下一期的疊代中,計劃支援CDH 6計算引擎、審計日志、子賬号下單購買、OpenAPI擴充、監控告警能力更新、MySQL8.0資料源等功能,敬請期待!

我想了解更多:https://dp.alibaba.com/consult

資料中台是企業數智化的必經之路,阿裡巴巴認為資料中台是集方法論、工具、組織于一體的,“快”、“準”、“全”、“統”、“通”的智能大資料體系。

目前正通過阿裡雲對外輸出系列解決方案,包括通用資料中台解決方案、零售資料中台解決方案、金融資料中台解決方案、網際網路資料中台解決方案、政務資料中台解決方案等細分場景。

其中阿裡雲資料中台産品矩陣是以Dataphin為基座,以Quick系列為業務場景化切入,包括:

  • - Dataphin,一站式、智能化的資料建構及管理平台;
  • - Quick BI,随時随地 智能決策;
  • - Quick Audience,全方位洞察、全域營銷、智能增長;
  • - Quick A+, 跨多端全域應用體驗分析及洞察的一站式資料化營運平台;
  • - Quick Stock, 智能貨品營運平台;
  • - Quick Decision,智能決策平台;

官方站點:

資料中台官網 https://dp.alibaba.com

原文連結:

https://developer.aliyun.com/article/784660?

版權聲明: 本文内容由阿裡雲實名注冊使用者自發貢獻,版權歸原作者所有,阿裡雲開發者社群不擁有其著作權,亦不承擔相應法律責任。具體規則請檢視《阿裡雲開發者社群使用者服務協定》和《阿裡雲開發者社群知識産權保護指引》。如果您發現本社群中有涉嫌抄襲的内容,填寫侵權投訴表單進行舉報,一經查實,本社群将立刻删除涉嫌侵權内容。

繼續閱讀