天天看點

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

芯東西(公衆号:aichip001)

作者 | ZeR0

編輯 | 漠影

芯東西11月15日報道,在11月4日舉行的2021騰訊數字生态大會上,英特爾與騰訊宣布合作建構兼具高性能、大容量的存儲産品和多樣化資料庫。

會後,騰訊雲資料庫副總經理羅雲及英特爾技術專家接受芯東西等媒體的采訪,就雙方在資料庫領域的技術創新合作、傲騰持久記憶體的核心優勢、資料庫産品發展趨勢等内容進行分享。

去年10月,騰訊與英特爾達成雲硬碟(Cloud Block Storage,CBS)的合作願景。

雲盤所有資料都存在固态盤,所有資料從使用者端經過RDMA或TCP/IP網絡存儲,到對端的存儲伺服器。由于SSD盤在壓力較大情況下延遲很不穩定,騰訊雲與英特爾希望重構優化出一款極速型固态盤産品,因而考慮到英特爾傲騰持久記憶體。

傲騰持久記憶體能做到接近DRAM的時延,同時有持久化、大容量、高壽命、位元組可通路等特征。“在過去架構中,我們可以增加一層持久記憶體層,把資料寫到持久記憶體就可以傳回,這樣可以大大少端到端延時。”英特爾技術專家說。

相比傳統DRAM記憶體,英特爾傲騰持久記憶體有兩大優勢:<b>1)其存儲密度更高、機關存儲成本更低,可幫助使用者更為經濟地擴充雲存儲能力;2)App Direct模式下的英特爾傲騰持久記憶體所具備的持久性特性,使之可以有效充當CBS産品的資料持久化存儲載體。</b>

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

面向性能密集型使用者業務場景,基于全新的存儲引擎設計及英特爾傲騰持久記憶體優化的CBS産品,能實作更佳帶寬、更低延遲時間和更高每秒讀寫次數(Input/Output Per Second,IOPS),在落地實施後不僅資料讀寫時延縮短,系統使用壽命有效提升,還大幅增強了存儲空間使用效率。

為了從資料容量、存儲性能、資料安全等多元度應對存儲需求的變化,騰訊雲也在探索建構兼具容量、性能、可用性和安全性的雲資料庫。

騰訊雲資料庫副總經理羅雲談到過去十年,各細分領域的各種資料庫産品趨勢在往另外一個方向演化,想要有更多具備更強能力的單體資料庫覆寫更多場景。為了将Redis+MySQL資料庫更好結合,減輕客戶解決資料雙寫、雙讀、緩存一緻性等各種複雜問題的難度,騰訊雲打造了全新高性能分布式KV資料庫産品Tendis。

英特爾與騰訊雲曆經兩年多的時間經過多輪溝通,探索如何在持久化方向利用傲騰持久記憶體實作更好的架構和性能,以“軟體+硬體”組合創新的方式,依托英特爾傲騰持久記憶體200系列在性能、容量和持久化等方面的優勢,融入冷熱資料自動分離等創新技術,逐漸将Tendis打磨成熟。

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

打造新一代Tendis 2.0時,騰訊雲并非簡單地将Redis的引擎放在Tendis上,而是完全從零開始設計這一套DB引擎。

據羅雲分享,整個引擎的設計思路是要解決幾個問題:<b>1)如何利用傲騰去完成資料持久化</b>,實作穩定延遲;<b>2)解決資料要被高效通路的問題</b>。

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

整個引擎的設計和傲騰結合非常緊密,可以了解成是圍繞傲騰特性來打造騰訊雲自己的DB引擎。

在通路層,要設計一套全新的、和傲騰完全比對的随機記憶體位元組尋址的特性,是以騰訊雲在傳統Hash基礎上做了一個可以了解為Hash增強的核心資料庫的索引引擎。

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

在存儲層,需結合傲騰對熱資料存儲效果和SSD冷存的兩層資料如何完成對使用者的請求,沒有block,同時又要做好熱資料的淘汰機制,是以引擎要做好冷熱資料的區分。

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

羅雲提到,如果能實作更高生産效率,一定意義上也是為整個社會節省更多資源。通過采用新一代傲騰技術,騰訊雲資料庫産品将傳統開發模式的兩層架構壓縮成一層,開發者采用這套新引擎後能明顯降低在雲端的開銷及采購伺服器數量,并提升生産效率。

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

目前Tendis可提供<b>存儲版、持久記憶體版、混合存儲版</b>三種不同的産品形态,以滿足不同需求。同時該産品也能配合騰訊雲星星海靈動水系XC221自研伺服器提供的可靠穩定平台,提升應用開發維護效率,還能夠通過冷熱資料分離與大容量記憶體實作降本增效,并帶來更高可靠性對核心業務形成有力支撐。

騰訊雲也持續發力在存儲容量、可擴充性和成本效益等方面兼具優勢的分布式資料庫産品。

其“明星級”企業級分布式資料庫産品TDSQL內建了第三代英特爾至強可擴充處理器,通過其全新架構和高頻、多核、多線程的傳統優勢,大幅提升TDSQL并行處理能力。

TDSQL也全方位應用英特爾傲騰持久記憶體,幫助其客戶更為經濟地擴充存儲容量,在App Direct模式下的英特爾傲騰持久記憶體可以有效充當Redo日志的資料持久化存儲載體。

據英特爾技術專家分享,英特爾在雲資料庫和分布式資料庫方面提供了差異化解決方案。開源雲資料庫中可利用傲騰持久記憶體的大容量解決緩存沖突的問題,或是利用傲騰的持久化特性來将記憶體資料庫的産品變成持久化記憶體資料庫的産品。分布式資料庫多為閉源,在交易型或金融分布式資料庫方面,強異質和強同步是非常必需的,英特爾傲騰持久記憶體将在這方面有較大應用。

此外,騰訊聯合英特爾共同推出首屆TDSQL開發者大賽,通過開發與應用實戰,鼓勵開發者基于TDSQL實作技術與商業創新。

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷

羅雲透露說,大賽将由淺入深的給很多題目,開發者可以在裡面答題,驗證自己對資料庫的了解,慢慢去擁抱資料庫的技術,更多感覺到傲騰和騰訊雲的TDSQL資料庫産品。

談及如何平衡高性能、低成本、資料可靠性三者的經驗,羅雲分享說,如果将資料庫定義為三角形,這三個特性就是三角形的三個頂點,拉扯任何一條邊或一個頂點,這個三角形都會發生變化,它們的關系非常密切。

理論上來說,高性能和資料可靠性很難做到完全均衡。網絡分區性導緻可用性和資料持久化兩點隻能擇其一,如果要保證資料更高的可靠性,可能要犧牲通路性能和可用性。總成本等于單GB的成本×規模,應選擇合理媒體存儲合理資料,最好的方案是提供分級存儲,讓客戶能夠在成本和性能之間做到一個選擇。

是以羅雲建議資料庫廠商應提供更多機制,而不是政策,也就是說給使用者不同的資料可靠性選擇級别,讓使用者在不同可靠性和性能之間找到适合自己業務的平衡點。

“我們引入傲騰的邏輯也是因為它比記憶體便宜,比磁盤又快得多。”他認為,這給到使用者一個很好的範例來做選擇。

突破傳統記憶體與存儲瓶頸!英特爾傲騰技術落地騰訊雲資料庫,大降雲端開銷