天天看點

守住數字化轉型的根基,曙光以海量資料存儲賦能數字經濟

目前,全國各地正在大力推進新基建的建設,這種态勢還将繼續保持。随着以5G、工業網際網路、人工智能等技術為代表的新基建的持續推進,必将帶來更為泛在的連接配接、更加海量的資料、更為多樣化的資料類型,以及更為普遍的資料分析和處理需求,這些變化給存儲系統帶來了巨大的挑戰。

在12月18日由新華網與中國科協學會學術部指導、新華網用戶端與中國電子學會主辦、至頂傳媒承辦、科技行者與全球移動通信系統協會(GSMA)協辦的“2020中國新基建上司力峰會”上,曙光存儲事業部副總經理張新鳳在其主題演講中分享了在目前“新基建”環境中,曙光如何通過其海量存儲系統助力客戶數字化轉型的最佳實踐,為業界破解存儲難題帶來新的思考。

守住數字化轉型的根基,曙光以海量資料存儲賦能數字經濟

曙光存儲事業部副總經理張新鳳

存儲行業新變局

今天我們已經進入一個大資料時代,資料規模正在呈現爆炸性增長,與此同時,資料正在成為衆多企業的核心生産要素,在企業數字化轉型中資料的基礎支撐作用也日益凸顯,越來越多的企業通過資料的分析和處理獲得競争優勢。

在演講中張新鳳援引了一組IDC的研究結果:2018至2025年全球資料圈将增長5倍以上,屆時全球互聯的裝置将超過1500億,其中的大部分裝置将實時産生資料。

大資料時代的另一個顯著特點就是邊緣和終端産生的資料量越來越多,随着5G的普及這一勢頭将有增無減。以自動駕駛汽車為例,其每小時即産生3TB的資料,這還不包括車載裝置上的娛樂資訊以及GPS資料。随着車與車之間的連接配接越來越平常,以及植入越來越多模式設别的機器學習以及AI算法,其資料量還将顯著增加。

為了應對行業的最新變化,存儲行業做出了大量努力。在張新鳳看來存儲領域有四大趨勢值得重點關注:

首先是存儲媒體的創新。創新集中在兩個方向:一個追求更快的存儲媒體,追求實時性,大量新技術應用創造出更好的性能,如SSD、NVMe;另一個是更大容量,而且是低成本下的高容量,比如量子存儲技術,目的是為海量資料廉價存儲提供媒體。

其次,不同行業對存儲呈現完全不同的需求。比如,流媒體應用一般更關注性能抖動;金融證券一般更關注延遲問題等。為了滿足不同需求,就需要為之提供軟硬一體、定制化的存儲系統。

第三,存儲的智能化管理需求。存儲量的增長帶來了運維的複雜,使得存儲系統自動預警、自動運維顯得越來越關鍵。

最後是更為海量的資料,這是目前對存儲系統最大的挑戰之一。大資料、物聯網、工業網際網路、5G等新技術帶來多元化資料爆發性增長,特别是企業存儲在本地、邊緣或公共雲中的作為檔案或對象存儲的非結構化資料呈現指數級增長。

“以前,我們存儲達到PB級别就是很大規模的應用了,而這一兩年我們接觸了不少單使用者的資料規模達到數百PB規模,對于這種海量資料傳統存儲系統方式是不合适的。”張新鳳表示。

潛心打磨,出好的海量存儲産品

曙光公司是依托于中科院誕生的一家本土企業,主要為政企客戶打造IT基礎架構以及各種解決方案和服務。經過20多年發展,曙光目前擁有有七大産品線,其中,存儲是其最為核心的兩大業務之一(另一項核心業務是伺服器)。作為曙光的核心業務,多年曙光持續在存儲技術上進行投入,取得了不少技術突破,尤其是在海量存儲上。目前,已經建立了一支國内一流的掌握了分布式存儲核心技術的團隊,擁有兩百多項相關技術發明專利。根據IDC的資料,曙光自研的海量分布式存儲系統連續7年在國内IDC産品裡排名前二。

據張新鳳介紹,曙光的海量存儲系統架構分三層:最底層是硬體平台,基于完全标準化的x86平台建構,适配英特爾等各種處理器和高速網絡産品,比如25GB、100GB、200GB網絡;中間是最核心的分布式軟體層,其中最關鍵的是曙光自研的本地磁盤管理系統,其擴充性非常好,性能和可靠性與同類軟體相比有質的提升;最上層是應用,包括NFS、FTP等,以滿足使用者存儲不同資料的需要。

守住數字化轉型的根基,曙光以海量資料存儲賦能數字經濟

“該系統面向海量非結構化資料存儲場景全面優化,廣泛适用于存在資料共享需求的多種應用領域,如網際網路、媒資管理、視訊編輯處理等行業或場景。”張新鳳表示。

張新鳳說,曙光海量存儲系統有如下三大核心優勢:

第一個是高性能。高性能主要取決于架構本身,這是一個完全內建的架構。同時,單結點性能上也做了優化,可以為追求極緻性的使用者提供更好的性能。另外,系統還利用了最先進的網絡技術并在網絡協定上做了大量優化,進而進一步提升了存儲性能。

其次,是存儲系統的高可靠性。整個系統的可靠性首先來自于單個硬體可靠性,然後結合軟體實作了整個存儲系統的可靠性,叢集、所有固件、所有節點和網絡都備援設計,沒有單點故障。

最後,在易管理方面,存儲系統植入了智能算法,有新節點加入第一時間識别自動處理,從不需要人員做太多介入管理。同時,可實作多個系統統一管理,一個管理系統可以管理64套叢集,這意味着通過一個管理界面可以實作數十個EP級資料的管理。

張新鳳介紹,得益于曙光在技術上持續創新,曙光存儲系統現在已經在全國3萬多家企業中發揮作用,管理資料的容量已經超過10個EB,為衆多政客客戶的數字化轉型發揮了重要作用。

“當今資料存儲的需求已經到了一個新的階段,為了應對海量資料我們需要在技術、在方案上、産品上做出改變,曙光分布式存儲系統正是我們做出的探索。”張新鳳總結說。

繼續閱讀