天天看點

DataWorks 2021-05 産品月刊

本月DataWorks産品月刊為您帶來

産品活動:

1.資料內建開放使用者體驗調研問卷啦!趕緊開啟吐槽模式吧

2.首月特惠!DataWorks專業版原價5000元現飛天會員618特惠僅需99元;獨享資料內建/排程資源組首月5折

産品功能更新:

  1. DataWorks資料內建新增實時同步至AnalyticDB MySQL 3.0的功能;
  2. 開放消息服務(Open Message)開啟公測,支援訂閱DataWorks中的中繼資料及任務變更事件,可實作DataWorks與您的自有系統的深度內建;
  3. 任務排程新增年周期和月末最後一天周期,可實作按年、按季度、按指定月最後一天的周期排程;
  4. 新增FTP Check節點,支援定時檢測指定的“FTP标Done檔案”,實作DataWorks與外部系統的排程信号打通;
  5. 新增ClickHouse引擎的支援,提供了資料內建、資料開發、任務排程與任務運維等ETL操作和管理能力;
  6. 全新改版了代碼搜尋功能,支援更實時、更精準和更靈活的代碼全文搜尋能力;

【産品活動】

1. 資料內建開放使用者體驗調研問卷啦!趕緊開啟吐槽模式吧>>

立即前往>>

2. 首月特惠!DataWorks專業版原價5000元現飛天會員618特惠僅需99元>>

3. 首月特惠!獨享資料內建/獨享排程資源組首月5折>>

【産品功能更新】

1、DataWorks資料內建新增實時同步至AnalyticDB MySQL 3.0的能力

支援MySQL、OceanBase、PolarDB等資料庫實時同步至AnalyticDB MySQL 3.0,可以在一個任務中一次同步多個表的實時資訊,能夠自動先全量同步,然後啟動實時增量,實作資料不間斷同步。其中實時同步時已經自動支援添加列的DDL同步,即源端增加列時目标端的表也會增加相應列。

檢視詳情:

https://help.aliyun.com/document_detail/229552.htm

2、開放消息服務(Open Message)開啟公測

DataWorks提供開放消息能力,您可以在DataWorks開放平台開啟消息訂閱功能。僅支援DataWorks企業版使用者參與公測活動,企業版使用者可以直接參與公測并試用開放消息能力,無需申請和支付相關費用。您可以通過開放消息擷取DataWorks中的中繼資料及任務變更事件,可實作DataWorks與您的自有系統深度內建。

https://help.aliyun.com/document_detail/215365.html

3、DataWorks任務排程新增年周期和月末最後一天周期

DataWorks周期任務排程現添加了年周期排程和月末最後一天排程,可實作按年、季度、指定月最後一天的周期排程,目前DataWorks排程周期支援包括分鐘、小時、日、周、月和年。

檢視文檔:

https://help.aliyun.com/document_detail/137549.html

4、新增FTP Check節點,支援定時檢測指定的“FTP标Done檔案”

FTP Check節點可用于通過FTP協定周期性檢測指定檔案是否存在。如果檔案存在,則啟動排程下遊任務,不存在,則按照配置的間隔時間重複檢測,直到滿足檢測的停止條件時停止檢測。該節點通常作為DataWorks排程系統與其他排程系統之間傳遞信号使用。

https://help.aliyun.com/document_detail/215542.html

5、新增ClickHouse引擎的支援,提供了資料內建、資料開發、任務排程與任務運維等ETL操作和管理能力

DataWorks提供通過EMR執行個體模式或JDBC連接配接串模式綁定ClickHouse叢集,以及通過JDBC連接配接串模式綁定ClickHouse資料源。提供通過資料內建支援對ClickHouse的讀寫資料的能力。提供ClickHouse SQL節點,通過獨享排程資源組進行資料開發,任務排程,任務運維,臨時查詢等ETL操作和管理能力。

配置ClickHouse資料源:

https://help.aliyun.com/document_detail/251479.html

綁定ClickHouse計算引擎:

https://help.aliyun.com/document_detail/136938.htm#title-pp2-itt-1ak

建立并使用ClickHouse SQL節點:

https://help.aliyun.com/document_detail/216828.html

【産品文檔更新】

新版安全中心上線 新增安全中心API-GetPermissionApplyOrderDetail 實時同步資料至Kafka Cassandra Reader Cassandra Writer 成員及角色管理 導出開源引擎任務 導入開源引擎任務 引擎運維 檢視周期任務DAG圖(周期任務) 檢視周期任務DAG圖(周期執行個體) 檢視周期任務DAG圖(補資料執行個體) https://help.aliyun.com/document_detail/206034.htm#doc-api-dataworks-public-GetNodeParents

【往期系列】

DataWorks 産品月刊合集

更多DataWorks技術和産品資訊,歡迎加入【DataWorks釘釘交流群】,為您提供最新的産品直播、産品活動及技術支援

點選檢視