天天看點

資料庫産品事業部月刊(2020.3-4)一、重大事件

一、重大事件

1、飛刀接受印度知名IT媒體專訪:阿裡雲的目标是實作資料庫的完全自動化和智能化

阿裡雲雲原生資料庫PolarDB和雲原生資料倉庫AnalyticDB在印度正式上線,當地知名的IT媒體YourStory對阿裡雲智能資料庫事業部總負責人李飛飛博士進行了專訪。

在采訪中李飛飛表示,随着計算和資料上雲的趨勢快速發展,傳統資料庫步履蹒跚,雲原生資料庫和資料倉庫利用雲原生技術最大化的發揮池化的計算和存儲資源彈性将是未來。同時随着AI技術的不斷深入使用,資料庫也将會越來越智能化,阿裡雲的目标是實作資料庫的完全自動化和智能化。

資料庫産品事業部月刊(2020.3-4)一、重大事件

檢視詳情:

https://developer.aliyun.com/article/750441

2、引領資料庫邁入自動駕駛時代,資料庫自治服務DAS重磅釋出!

2020年4月22日,全球首個雲資料庫自動駕駛平台——資料庫自治服務DAS重磅釋出。基于多年大規模資料庫叢集運維調優的專家經驗,結合機器學習等智能化技術,DAS可提供自感覺、自修複、自優化、自安全的全鍊路資料庫管控能力,無需人工幹預,讓企業像體驗“自動駕駛”一樣使用資料庫,資料庫管理成本降低90%。

釋出會預熱過程中,由DAS團隊同學出演的DAS趣味短視訊——《這是不是運維“汪”的一天》目前已在多個管道進行釋出,大受好評。

最終參與釋出會直播人數共計18876人,再創曆史新高!

資料庫産品事業部月刊(2020.3-4)一、重大事件
釋出會直播 DAS産品詳情 檢視詳情

3、ICDE 2020 于4月20日線上上舉行,阿裡雲分享 AnalyticDB 相關Topic獲得海外關注

ICDE 2020 4月20日-4月24日線上上舉行,阿裡分享了《Two-Level Data Compression using Machine Learning in Time Series Database》的論文,并在4月22日美國時間早上7:30-8:00分享了Topic < AnalyticDB : Real-time OLAP Database System at Alibaba Cloud>,盡管時間很早但仍有上百人觀看,通過本次演講,使ADB産品在海外大獲關注

4、X-Engine助力釘釘順利應對流量洪峰,躍居APP Store 第一!

釘釘作為國内領先的企業IM工具,在中國有超過億級别的使用者。随着新型冠狀病毒肺炎疫情的爆發,大量的企業員工選擇了soho模式,企業辦公協同工具的需求瞬間爆發。釘釘迅速沖上了AppStore下載下傳免費榜單的第一位。面對這些挑戰,釘釘業務選用了X-Engine作為全量釘釘消息的最終存儲引擎,實作了性能和成本的平衡。而且在此次企業協同辦公需求爆發期間,釘釘業務的資料庫系統頂住了所有的流量洪峰。

在未來X-Engine作為PolarDB分布式版本的一個底層存儲引擎,将在分布式資料庫領域服務更多的客戶。

資料庫産品事業部月刊(2020.3-4)一、重大事件
https://yq.aliyun.com/articles/745268

5、阿裡雲資料庫金筆杆征文大賽月度評選Top8新鮮出爐!

為了更好地向外界展示阿裡雲資料庫先進的技術理念,并且為同學們施展文采提供更大的平台,3月9日,我們面向資料庫事業部所有同學正式發起金筆杆征文大賽。比賽一經發起,陸續收到了來自各個團隊同學的投稿。

截止4月20日,3月征文評選出的Top8已新鮮出爐,其中Top1曝光值超6萬,Top1-8曝光值超20萬。月度Top8同學将可獲得LAMY鋼筆一支,前二十名投稿同學也将獲得精美禮品。

資料庫産品事業部月刊(2020.3-4)一、重大事件

Top8文章:

https://developer.aliyun.com/article/756947

二、重大産品更新

PolarDB下一代雲原生資料庫

PolarDB 存儲包大幅降價,共享技術更新紅利

PolarDB 3T及以上存儲包在原有的基礎上,統一再次降價 17%~33% (3T/5T 存儲包降價17%,10T降價33%,20T/30T 降價25%,50T/100T 降價31%)。降價後,10T存儲空間使用存儲包比按量付費便宜40%!小提示:1個存儲包可以被多個執行個體(叢集)共享。

PolarDB-O大幅降價,降低去Oracle成本

PolarDB-O 國内站國際站所有Reion所有規格進行大幅降價,最低降價22.39%,最大降價達到65%,極大降低客戶去Oracle成本;

PolarDB MySQL 支援綁定私有位址(域名),使用者可以不改資料庫位址(域名)上雲或遷移

PolarDB通過綁定使用者自定義的私有域名,可以在指定的VPC内優先解析該域名到PolarDB位址,進而達到使用者在遷移/更換資料庫的時候不需要修改原來使用的資料庫位址(域名)的目的。

PolarDB MySQL 8.0 支援透明資料加密(TDE)功能,提升資料安全防護能力

對于PolarDB MySQL 8.0版本,使用者可以使用自己的密鑰或者由阿裡雲自動生成密鑰,通過SQL語句『alter table t encryption='Y';』來加密資料庫的部分表,來避免實體檔案或備份洩露造成的資料丢失

雲原生資料倉庫+資料湖

AnalyticDB MySQL正式對外釋出性能白皮書

以TPC-H 22 Query為标準場景,對比Presto、Impala、Spark有6-10倍以上的提升。

性能測試報告參考 :

https://help.aliyun.com/document_detail/155980.html?spm=a2c4g.11174283.6.779.5f5428f14Z8IsX

雲原生資料倉庫PostgreSQL版上線存儲計算分離執行個體規格

雲原生資料倉庫PostgreSQL版存儲計算分離規格灰階釋出新加坡區域,支援存儲及計算資源獨立按需購買,支援計算資源彈性平水準擴充,支援存儲獨立擴容,提供ESSD 和 高效雲盤兩種存儲媒體,滿足高性能實時分析和大規模低成本數倉的場景,相比傳統數倉形态,可以做到更加精細化成本控制,充分利用雲原生彈性資源優勢。

資料湖分析釋出Serverless Spark計算引擎

資料湖分析釋出Serverless Spark計算引擎,支援使用者使用Spark計算分析OSS上的資料,利用Spark引擎為使用者提供自定義程式設計、ETL、機器學習、Streaming的能力,幫助使用者挖掘OSS、RDS、Hbase等多種資料源中的資料價值。

Data Lake Analytics釋出多項SQL功能和性能優化

SQL執行過程中遇到gz格式的空檔案将直接跳過。當使用者的分區數量大的時候,使用droptable删除表需要花費較長的時間,經過優化之後,即使分區數達到萬級以上也能較快的進行删除操作。

雲資料庫ClickHouse于4月8日正式釋出商用,首月有50+客戶購買商用

雲資料庫ClickHouse同時釋出了叢集擴容、縮容功能,使用者可以按需變更叢集資源規模;增加了報警監控功能,便于應用自定義報警規則監控叢集運作狀态;單個節點最大存儲容量擴大至10TB,滿足資料量大的客戶需求,進一步提高成本效益。

RDS&NoSQL&管控工具

MySQL專屬叢集支援MySQL 5.6版本、SQL Server引擎、PostgreSQL引擎

專屬叢集是由多台主機(底層伺服器,如ECS I2伺服器、神龍伺服器)組成的叢集,使用者通過專屬獨享一片資源池,可自由靈活配置設定MySQL(現以支援5.6、5.7、8.0版本)、SQL Server 和 PostgreSQL 執行個體,進一步滿足企業對安全合規、高成本效益、自主可控的資料庫需求

MySQL 支援客戶自定義調整Buffer Pool大小

目前阿裡雲是中國雲廠商首家支援該特性的。RDS MySQL 支援修改 InnoDB buffer pool空間大小, innodb_buffer_pool_size 調整範圍最小值128MB,最大值是RDS MySQL執行個體規格記憶體80%。 目前僅支援通過公式修改,在RDS參數管理和RDS參數模闆中,通過系統變量DBInstanceClassMemory來設定 innodb_buffer_pool_size,如 {DBInstanceClassMemory7/10} 表示将 RDS MySQL 執行個體的 innodb_buffer_pool_size 設定為規格定義的記憶體空間的70%大小。

雲資料庫SQL Server 2008R2釋出雲盤版形态

RDS SQL Server 2008R2 版本支援雲盤存儲類型,同時在所有地域全部開放售賣,早期老版本客戶可無法遷移上雲。

SQL Server支援主可用區功能

RDS SQL Server支援主可用區功能,使用者可按需靈活設定主節點及備節點所在可用區分布,滿足業務部署需求。

RDS PostgreSQL釋出資源回收筒功能, 覆寫所有版本

RDS PostgreSQL釋出資源回收筒功能, 覆寫所有版本, 執行個體欠費或到期釋放15天内可以從資源回收筒恢複. 1、充值解鎖 按量付費RDS執行個體因為欠費被鎖定時,可以對阿裡雲賬号充值解鎖執行個體。 2、續費解鎖 包年包月RDS執行個體因為到期被鎖定時,可以在資源回收筒中對執行個體進行續費解鎖。

PostgreSQL V12 高可用版商用, 性能提升100倍.

• 高性能:

o 在表分區上千時, 高并發場景性能提升100倍.

o 最高32TB,100萬IOPS,4GB/s 讀寫帶寬。

• 開發友好:

o 支援sql jsonpath文法, 在JSON文本操作方面功能大幅提升

o 虛拟列功能.

• 高安全: 支援SSL安全加密鍊路,全庫資料加密

• 高可靠: 支援主從多可用區,三種資料保護級别(最大保護,最高可用,最高性能)

Redis 支援代理管理功能

Redis 支援代理管理功能,提供代理展示及熱更新,重新開機,重搭等操作選項。阿裡雲Redis 某些新功能依賴代理實作,老版本代理無法支援,需要提供控制台代理更新能力。現有更新為熱更新,對客戶業務無影響。同時提供代理重新開機,重搭等功能,發生代理響應延遲時,可以通過該功能快速解決。

Redis 支援手動主從切換

Redis 提供服務可用性管理功能,提供分片及對應可用區資訊展示,讓客戶能夠直覺感覺執行個體分片的分布狀況。提供手動主從切換功能。友善客戶進行主可用區切換,同時提供容災演練能力,降低企業級客戶上雲測試門檻。

MongoDB 分片叢集相容 DynamoDB 協定

MongoDB 分片叢集相容 DynamoDB 協定,友善使用 DynamoDB 的客戶無縫遷移。

MongoDB 全面更新審計日志功能

審計日志功能全面更新,提供多元度過濾查找能力,友善客戶快速定位審計日志,同時提供多種聚合展示,友善客戶快速掌握執行個體的基本狀況,比如 Top 用戶端IP,Top 指令,Top 使用者等,同時提供控制台審計日志展示及下載下傳,對比原有審計功能,能力大幅度提升。

HBase支援線上磁盤擴容

HBase支援線上磁盤擴容,計算節點應用無需重新開機,相比原有擴容方式,平均每節點擴容時間從5分鐘下降到15秒。

HBase全品功能全面優化

1.備份計劃狀态告警

2.監控名額中新增"BDS冷存儲使用空間大小"

3.全量遷移、實時同步鍊路支援列、列族的過濾

4.HBase歸檔ODPS,中間表改造分區表,節約計算資源

5.HBase實時歸檔鍊路支援指定起始時間

6.标準版新增大請求限制

7.标準版OFFHEAP配置簡化

8.标準版JDK更新,優化特定場景下FullGC性能

圖資料庫GDB執行個體規格支援降配

圖資料庫GDB執行個體規格支援降配,結合前期釋出的升配功能,可滿足客戶業務潮汐擴縮規格需求。客戶應用通常有潮汐特點,如雙十一大促,對資料庫的通路壓力急速提升,需對資料庫規格做擴充。而大促過後,業務壓力下降,可以對執行個體規格降配,以節約成本。

Cassandra執行個體規格支援降配

阿裡雲Cassandra版執行個體規格支援降配,用于應對客戶業務可預知的潮汐場景,如雙十一等可預知的短時業務高峰,需要臨時将規格升配,待高峰過後需降配以節省成本。

InfluxDB Group by查詢性能優化提升十倍

InfluxDB針對Group by 查詢性能優化提升十倍,更好滿足監控告警等實時查詢場景的業務需求。

InfluxDB優化

自研Chronos引擎上線,效果顯著,部分業務IO從90%降到15%左右

資料庫自治服務DAS上線自動SQL限流

資料庫自治服務釋出應急處理利器——自動SQL限流,當資料庫遇到緩存穿透、異常SQL不斷被送出、大賬号通路等等問題時,無需等待研發處理,DAS可以自動發現該異常并定位到異常SQL,自動觸發SQL限流,讓業務在分鐘級内恢複正常。

資料管理DMS支援資料湖分析DLA與數倉開發周期任務排程、資料可視化!

資料管理DMS新增資料湖分析DLA支援,可進行周期任務編排排程建構數倉解決方案,對查詢結果可一鍵進入資料可視化,幫助使用者借助圖形化簡化資料分析的成本。

資料管理DMS上線行權限隔離管控能力及若幹體驗優化支援

資料管理DMS新增資料行權限管控能力,滿足更細粒度權限隔離管控需求;優化執行個體管理SQLConsole若幹互動,提升使用者使用便捷性。

資料傳輸服務DTS釋出雲Redis企業版雙向同步功能

支援阿裡雲Redis企業版執行個體間的單向或雙向資料同步,支援的架構類型包括标準版、讀寫分離版和叢集版,可應用于異地多活、資料容災、業務多地部署等場景。

資料庫備份DBS推出跨賬号備份功能

資料庫備份DBS推出跨賬号備份功能,客戶通過單獨的備份賬号來備份資料庫,很好的解決運維賬号誤操作、删庫跑路等資料安全問題。

資料庫網關DG推出私網資料庫上雲遷移及備份上雲能力

資料傳輸服務DTS和資料庫備份DBS內建資料庫網關DG正式上線,基于DG可以幫助使用者低成本實作線下IDC/友商私網資料庫上雲遷移和備份上雲。

三、前沿技術

DAS資料庫智能壓測能力上線公有雲,并向使用者全面開放

DAS資料庫管控平台已可在使用者界面發起ClouDBench智能壓測任務。智能壓測可以根據使用者資料庫負載生成壓測資料,有效評估資料庫水位和容量。阿裡雲是業界第一個具備智能壓測能力的資料庫雲廠商。同時,該功能也開始服務集團上雲、資料庫規格變更、雙十一資料庫端壓測等場景。

全加密資料庫MySQL版一期功能研發完成,為全球首個基于MySQL的全加密資料庫系統

全加密資料庫MySQL版一期功能研發完成,支援MySQL xcluster三節點部署和TDDL自動加解密能力,在多數操作上保有對應明文操作80%以上的性能,這表明使用者可以較小的性能代價獲得高強度的資料防洩能力。這是全球首個基于MySQL的全加密資料庫系統,可利用MySQL生态打開使用者市場。

實驗室自研空天資料庫引擎Ganos Aero Space(GAS)應用于阿裡雲數字地球引擎APE

阿裡雲數字地球引擎APE(一站式衛星資料資源與智能增值生态平台)作為阿裡雲一方産品正式立項,GAS将為APE提供大規模空天索引、空天網格存儲和空天計算能力,推動雲上空間基礎設施建設。同時,GAS與達摩院行業創新與視覺工程團隊的遙感影像分析系統完成技術對接與平台适配,實作了空天資料庫與遙感AI的一體化,為空天智能技術聯合創新應用建立了重要基礎。

基于DAS平台的論文被VLDB 2020 Research Track收錄

基于DAS平台的論文《Diagnosing Root Causes of Intermittent Slow Queries in Cloud Databases》被 VLDB 2020 Research Track收錄,本篇論文介紹資料庫智能管控平台上的慢SQL根因分析技術,研究成果已應用到DAS實時異常檢測系統的多名額異常序列原因分類與異常程度的判定中,每天對2.5w個執行個體進行4.5w次實時根因定位。

四、客戶案例

阿裡雲提供高效基因序列檢索功能,助力冠狀病毒序列快速分析

截至目前,新冠疫情使得全球209個國家停擺,全世界範圍内造成了數千億美元的經濟損失。為此,阿裡雲推出高效基因序列檢索功能,助力冠狀病毒序列分析用于疫情防治。

目前的的基因比對算法過慢,因而迫切的需要高效的比對算法來進行基因序列分析。阿裡雲AnalyticDB團隊将基因序列片段轉化成對應的1024維的向量特征。兩個基因片段的比對問題,轉換成了兩個向量的距離計算問題,進而大大的降低了計算開銷,系統可以在毫秒級别就可以返還回來相關的基因片段,完成基因片段的初篩。

資料庫産品事業部月刊(2020.3-4)一、重大事件
https://developer.aliyun.com/article/753097