資料湖分析服務 Data Lake Analytics SQL引擎是相容MySQL協定的,具備高性能的Serverless化的聯邦分析引擎,支援OSS、MySQL、PG、SQLServer、Redis、MongoDB、HBase、OTS等資料源。本次釋出提升及改進如下,列舉部分:
- 支援OSS多版本優化:OSS的多版本的特性,導緻OSS的shallow copy機制無法使用,是以ETL的時間都顯著變長。優化後,在一些大客戶使用,性能提升22%左右,主要節約rename中間的拷貝時間
- TextFile格式支援alter table add column
- 限制深圳區域單表Partition不超過2w,避免平台被異常增加partition打挂
- 優化"OSS的Null IO stream的問題" 異常資訊,此問題是 OSS中的資料是歸檔類型。後續在用戶端直接提示分析資料源中含有歸檔類型,請注意轉為普通資料類型
- 優化 MetaInfo.SqlExecutor.Parser 提示不明顯,後續會提示詳細錯誤資訊
資料湖分析服務Data Lake Analytics釋出支援OSS多版本優化、控制台等多項優化及改進 - 優化 查詢結果 可以左右移動
資料湖分析服務Data Lake Analytics釋出支援OSS多版本優化、控制台等多項優化及改進 - 增加URL定位到Schema
資料湖分析服務Data Lake Analytics釋出支援OSS多版本優化、控制台等多項優化及改進
Data Lake Analytics簡介
Data Lake Analytics(簡稱DLA)是阿裡雲上一款Serverless化的低成本大資料處理和分析服務。主打高成本效益、打通和聯合雲上資料生态,以及高易用性的BI相容能力。
- 高成本效益:世界領先的并行SQL計算引擎能力,為使用者提供千億級資料的互動式分析能力和萬億級資料的批量處理能力,并按量付費,零資源維護和保有成本;
- 雲上資料生态:提供阿裡雲上覆寫最廣泛的資料聯邦、融合分析、處理、回流能力,用統一的資料視角盤活、打通OSS、Table Store、日志服務資料湖投遞、DBS資料庫的資料湖備份、關系型資料庫和NoSQL資料庫的分析、處理生态;
- 易用的BI相容能力:以MySQL使用者接口的形态相容幾乎所有具備MySQL連接配接能力的BI套件和可視化分析工具,讓使用者輕松點選即可分析、洞見雲資料價值。
- 産品連結: https://www.aliyun.com/product/datalakeanalytics
- 新客戶1元試用: https://common-buy.aliyun.com/?commodityCode=openanalytics_post
歡迎關注資料湖技術社群
資料湖開發者社群由 阿裡雲開發者社群 與 阿裡雲Data Lake Analytics團隊 共同發起,緻力于推廣資料湖相關技術,包括hudi、delta、spark、presto、oss、中繼資料、存儲加速、格式發現等,學習如何建構資料湖分析系統,打造适合業務的資料架構。