随着資訊技術的發展,網際網路應用的加速普及,人類進入了數字經濟時代。進入二十一世紀以後,随着移動網際網路技術、物聯網技術、5G等技術的發展,全球資料圈(Global Datasphere)呈指數級遞增, IDC預測全球資料将于2025年增長至175ZB,而中國的資料圈有望于2025年爆炸式增長為世界第一。資料被稱為數字經濟時代的“石油”,如同石油驅動了工業化時代的進步,大資料将推動智能化與數字化時代的發展。
為了挖掘資料的價值,企業面臨着海量資料的存儲與分析需求,業務也面臨着更多熱點及突發流量所帶來的挑戰。面對資料計算(Data Computing)的巨大訴求、資料組織的運作成本的急劇增加、資料格式的豐富多樣,企業的數字化轉型面臨巨大挑戰,急需一款資料庫産品,幫助其最大化利用資料資産,降本增效,進行更智能高效的資料計算。
早在2019年,Gartner便做出預測:資料庫市場的未來在雲上。在2022年首次釋出的《資料庫中國市場指南》(Market Guide for DBMS,China)中,Gartner再次指出,中國資料庫行業将加速增長并逐漸向雲端遷移,未來四年,中國資料庫行業向公有雲遷移的速度将超過全球平均水準。2020 年資料顯示,雲資料庫已占據整體資料庫市場佔有率的40%,2022年雲資料庫營收資料将占據資料庫整體市場的半數以上。
OpenPie認為計算技術目前經曆了三代平台: ①大型機時代;②PC機時代; ③雲計算時代。每一代計算平台的變更,都帶來了資料計算技術的突破性創新的可能性。随着計算技術從大型機時代變革為PC機時代,PC機逐漸取代大型機,極大地降低計算門檻,計算資源日漸豐富,資料計算技術突破性創新。随着雲計算時代的到來,不僅使得計算成本極大地降低,也提供了無限豐富的計算資源,釋放出資料計算産生智能的更多機會。
自20世紀50年代中期以來,資料管理技術經曆了人工管理階段、檔案系統管理階段,最終随着硬體技術的提升、價格的下降,資料管理技術進入了資料庫系統階段。資料庫系統解決了資料管理的複雜性,很好的支撐了業務系統(如CRM、ERP、BI、報表和可視化系統)和專用的業務系統(如電商的推薦系統、銀行的客戶畫像)等;解放了開發人員,使他們能夠更好地專注于業務邏輯上。
很多受歡迎的資料庫系統均為分布式資料庫,而典型的傳統分布式資料庫系統大多是MPP(大規模并行計算)架構。MPP架構的資料庫以PC伺服器為機關,通過如下圖所示的組群方式來擴充存儲和計算。假設一個寬表有3億條記錄,MPP資料庫會嘗試在每台PC伺服器的硬碟上分布1億條記錄。資料計算時,所有機器同時并行計算,理論上最高可以把計算時間降低到單機部署的1/n(n為機器數量),節省了海量資料的處理時間。
然而,随着資料量的不斷攀升,企業對資料庫的要求也越來越高,在使用過程中,傳統資料庫解決方案迎來了一系列的瓶頸:
随着資料量和計算能力的爆發式增長,雲計算技術的迅猛發展,雲原生時代應運而生。雲原生時代,越來越多的企業将應用向雲上遷移,而越來越多的資料也流向雲上。公有雲帶來了衆多優勢:
這些優勢使雲原生資料庫得以降低計算成本,提供無限豐富的計算資源,實作分鐘級的伸縮性和真正的高可用,釋放出資料計算産生更多智能的機會。
以下是雲原生時代數字企業的典型使用場景:
面對這些不斷變化的業務需求和計算任務,企業産生了更高的需求:
充分結合雲計算、大規模并行處理技術的雲原生資料庫應運而生,雲原生資料庫幫助企業擺脫了PC架構的限制,滿足雲原生數字時代需求,成為更好的選擇。相對于傳統資料倉庫,雲原生資料庫的優勢也是顯而易見的:
傳統資料倉庫的計算和存儲是緊密耦合的,計算資源和存儲資源按某一比例強綁定,為了確定查詢結果的正确性,每個計算節點都需參與每條查詢的執行中,在擴容、運維、遷移上都存在一定的挑戰。企業業務發展的不确定性,導緻大資料系統無法及時分析業務資料,錯失了充分挖掘資料價值所帶來的商業機會。
雲原生資料庫計算和存儲分離,避免了資源的浪費。企業可根據對資源的需求,靈活地以低成本和高效的方式,單獨地進行存儲或計算資源的彈性擴充,提高了資源的使用率,節省空間成本和能耗開銷。
傳統資料倉庫往往需要巨大的人力投入進行資料庫的安裝和調試,雲原生資料庫的“即開即用”特性為企業節省了大量運維開支。由于計算節點部署于雲端,擺脫了實體限制和潛在的延遲,可随時随地通過網際網路輕松管理,無需任何硬體。資料随時随地可用,無需處理任何後端技術問題,為企業進行跨部門、跨區域的資料共享和協作開辟了捷徑,保證了企業的全球化程序。
傳統資料倉庫将檔案和資源存儲在同一主機中,以主備節點資料方式補償節點當機時間,嚴重影響資料時效性,增加了運維的成本和難度。雲原生資料庫具有使用者無感覺的”真正”的高可用性能,具備故障自動單點切換,自動化容災與高可用能力,避免了單點失敗對業務的影響,保證了資料的安全。當業務有更新或更換服務需求時,可對節點進行不中斷服務的逐漸更新。
傳統資料庫的黑箱狀态,導緻企業無法及時處理擴容、節點故障等問題。而雲原生資料庫部署在雲上,具備了雲計算所帶來的靈活、高效特性,兼具高彈性和高性能,可以輕松應對PB級海量資料,服務之間互相獨立,進而對應用或服務提供了更多層的安全保護,也實作了更多的容錯服務。其高度自動化的運維工具支援業務應用更加頻繁地更新,賦予企業更強大的靈活疊代能力。得益于雲原生資料庫的存算分離,企業可靈活進行擴縮容,進而也具備了強大的可遷移性。
傳統資料庫價格高昂的軟硬體導緻巨大的前期投入。雲計算為雲原生資料庫提供了近乎無限的低成本存儲空間,降低了傳統資料庫機房規劃、伺服器采購等投入成本,消除了企業的管理負擔。得益于雲原生資料庫按需付費的訂閱模式和動态擴充能力,企業可根據自己對資源的需求進行擴充,避免了資源的浪費,相比于傳統資料庫,具有更高的成本效益。
OpenPie 以“Data Computing for New Discoveries”「資料計算,隻為新發現」為使命,秉承 "Big Data Promises finally Come True"「最終實作大資料願景」的産品理念,推出的雲原生資料庫PieCoudDB。PieCloudDB在重新打造PostgreSQL 12.X實作存算分離的同時,也創造了全新eMPP ( elastic Massive Parallel Processing,彈性大規模并行計算 ) 分布式技術,建構以雲原生、分析型分布式資料庫為核心的全新資料計算平台,旨在為企業提供包含實時處理、彈性擴容、彈性計算、內建資料分析等強大功能的雲上資料存儲和計算引擎,助力企業實作資料價值最大化,打造高品質發展新優勢,并在新基建中承擔可靠和可控的雲資料庫底座。
基于雲計算架構的PieCloudDB的eMPP(Elastic MPP)彈性并行計算,完美解決了基于PC的傳統資料庫的缺陷,且具備了雲原生資料庫的上述所有優勢。PieCloudDB雲原生資料庫計算和存儲分離,存儲和計算作為兩個獨立變量,可以在雲端進行獨立的彈性伸縮,避免了資源的浪費。企業可根據業務對資源的需求,靈活地以低成本和高效的方式,單獨地進行存儲或計算資源的彈性擴充,提高了資源的使用率,節省空間成本和能耗開銷。
更讓人興奮的是,PieCloudDB允許使用者運用雲中資料同時開啟多個叢集進行資料計算。假設航空公司的訂票系統已經開啟一個3節點的叢集對資料進行分析,他們的會員系統可以再開啟4個節點的叢集對資料進行計算,依此類推,使用者可以随時随地地開啟任何數量節點的叢集進行新應用的資料計算。在PieCloudDB中,使用者可以持續将所有資料在雲中存儲,真正為已有的應用和未來的應用實作資料共享,進而幫助使用者真正實作大資料夢想 Big Data Promises finally Come True。
雲原生資料庫PieCloudDB将于10月24日正式釋出,更多産品功能将屆時揭曉。歡迎持續關注我們的活動。
參考文獻:
The Digitization of the World From Edge to Core,IDC,2018
https://www.gartner.com/en/newsroom/press-releases/2019-07-01-gartner-says-the-future-of-the-database-market-is-the