天天看點

解析雲原生2.0架構設計的8大關鍵趨勢

摘要:在雲原生2.0階段,我們到底需要建構一個什麼樣的架構?華為雲首席架構師為你一一解答。

本文分享自華為雲社群《華為雲首席架構師獨家分享:雲原生2.0架構設計的8大關鍵趨勢》,作者:技術火炬手。

雲原生2.0是企業智能更新新階段,企業的雲化從“ON Cloud”走向“IN Cloud”,當一切應用都生于雲,長于雲,雲架構的疊代也會進入一個新的階段。

圍繞雲原生2.0,華為雲首席架構師顧炯炯提出了8個關鍵模式: 分布式雲,混合排程,應用驅動基礎設施,存算分離與資料治理自動化,可信、平民化DevOps,基于軟總線的異構內建,多模态可疊代AI模型,全方位立體式雲安全。

随着雲化和數字化滲透到制造類、工業網際網路類場景,5G技術在to B領域應用的快速成熟,以及物聯網 、AI技術的成熟,現在雲的服務對象不僅是企業的背景IT支撐系統,它延伸到了前端的“現場”,類似于工業場景裡的近場計算。如果還是将所有的數字化應用系統都放在集中的資料中心,它的時延無法滿足實時生産系統的要求。

另外,有一些行業的敏感資料不能從現場或者資料産生地直接簡單的上傳到雲端,它存在資料安全、隐私保密的問題。再比如醫療裡的基因大資料、視訊監控等場景,如果所有資料都上傳到雲端,帶寬的成本非常高昂。

是以,我們必須要引入雲邊端協同的分布式概念,建構分布式雲的架構。 這個架構可以和核心側架構配合,覆寫核心區域、熱點區域、本地機房、業務現場等不同接入時延敏感度,資料隐私合規要求及資料上雲帶寬成本的應用上雲場景。

舉個例子,通過這樣的方式,可以把雲端的很多算力和計算邏輯,甚至是訓練好的AI模型推送到更加靠近使用者資料産生地的位置上,進行就近的計算,将海量的資料做一定的收斂、分析、脫敏等,再發送到雲端進行閉環的處理和控制回報。

在很多算法專家的努力下,華為雲通過瑤光排程平台大大提高了資源的配置設定效率,達到甚至超過了80~90%的程度,已經接近于業界的領先水準。但是資源的實際使用率仍然處在一個比較低的水準,當然業界平均也不是特别理想,領先者差不多20%左右。為了解決這樣的問題,華為雲引入混合調動、柔性計算的能力,将線上和離線的不同優先級的業務,進行QoS感覺的智能調用,實作資源使用率最大化。

柔性計算不僅僅具備彈性的特征,保證了橫向的資源擴充,而且它也能實作縱向資源規格的可大可小。目前,消費者雲已經在内部驗證了柔性計算的能力,可以在不改變上層業務的前提下提高使用率,實作性能的倍增。關于柔性計算的更多内容參考 華為雲首席架構師顧炯炯:敢為人先,探索架構創新之路如何走。

如今,軟硬體的垂直整合,特别是靠近作業系統底層的硬體和雲服務基礎設施層的服務軟體之間的縱向整合能力,成為新的趨勢,它把基礎設施服務底層的硬體和相應的服務封裝層打包在一起。

雲服務廠商可以設計研發定制晶片,比如存儲和網絡的硬體解除安裝的晶片、比對深度學習邏輯處理架構的晶片等等。如果有能力建構這樣的軟硬體垂直整合的能力,就能擁有相比其他雲服務商更優的價格優勢,也得以呈現自身獨特的硬體、晶片優勢。

有了應用驅動的基礎設施之後,根據應用的性能SLA需求,來定義是使用與軟體完全解耦的通用硬體資源,還是比對應用場景特殊訴求的軟硬體深度協同的解除安裝卡或異構計算資源。

這也能發揮華為軟硬體兼長的優勢,我們在硬體領域有不少核心創新:一個是 SDI, 叫軟體驅動的基礎設施,也就是把分布式存儲\分布式網絡,還有Hypervisor的一些系統能力從伺服器解除安裝到PCI卡上,也即SDI/擎天解除安裝卡。二是鲲鵬硬體支撐雲存儲和資料湖的處理, 鲲鵬單核處理能力雖弱于X86,但核密度則達到X86 CPU的2倍,是以在對IO及記憶體帶寬作為其性能瓶頸的大資料及分布式存儲場景,是比X86更好的選擇。同時,我們也在用自研的昇騰NPU取代GPU建構AI平台, 它在深度學習的訓練推理中展現出更高的能效比。

未來企業的所有的資料孤島都将彙聚到雲端的資料湖,進行統一生命周期的治理和管理,是以必須要解決資料計算分析的資源需求。資料湖裡有各種各樣的結構化、半結構化、非結構化的資料,但這些資料的分析計算和底層的存儲容量之間的需求,并不是線性比對的關系。 比如對于深度學習的場景,資料量需要不斷的計算疊代,它需要更多的計算能力,相對較少的存儲需求。是以在不同的業務場景下,資料分析計算和存儲的要求是不一樣的,最終一定要走向存算分離。

在存算分離領域裡面,華為雲已經積累優勢,從最早的去中心化的分布式存儲引擎FusionStorage開始,七年磨一劍,我們從内部驗證到向外部的推廣,從塊存儲延伸到對象存儲、檔案存儲、分布式的叢集資料庫,把原先在開源架構裡五花八門的底層存儲技術引擎架構實作了統一。經過實際的測試,在業界同樣支援存算分離資料湖架構的雲場景中,華為雲展現了領先30-60%以上性能優勢。

再就是資料治理自動化。 現在的資料治理的還是人力密集型工作,整個過程非常低效,很難滿足很多行業的要求。是以在這個架構模式裡面,除了存算分離的資料庫,還要建構資料治理自動化。

通過引入AI的技術,将資料的擷取、清洗以及最終資料知識的提取,主題庫的建立、資料目錄的釋出,都實作完全的自動化。使用者隻需要指定入湖的資料源和所屬業務主題域,系統自動化建立入湖任務,底層資源根據入湖資料量自動擴縮容,智能完成入湖資料的安全等級、分級分類、隐私等級等資料标簽的自動識别打标。這個能力對企業資料資産的快速沉澱能力的建構是至關重要的。

通過将一系列安全可信措施嵌入到靈活開發運維模式, 建構所謂的DevSecOps流水線,實作靈活快速疊代與嚴格品質管控兼顧;并通過低代碼/無代碼實作更多行業應用資産的沉澱, 将行業應用的開發效率再上一個新台階。

Devops實作了應用的靈活開發,但在面向政企時,還需要滿足應用品質和安全可信的要求。是以在遵循DevOps的同時,将安全能力內建到其中,更新成為DevSecOps。使用安全左移、預設安全、運作時安全、安全服務自動化/自助化、基礎設施即代碼(IaC)等技術, 實作管理與協同、設計與開發、CI/CD、應用管理、運維、安全可信等各個環節的一體化趨勢。

此外,由于傳統政企開發投入有限,需要通過低碼化無碼化,來實作對應用進行快速建構及改造。華為雲低代碼平台AppCube可支援多種頁面類型和豐富的元件能力,基于它的服務能力編排和業務流程無代碼定制,可實作靈活流程觸發方式、多種權限配置方式、自定義業務編排等。

即幫助企業建構可平滑演進的IT架構, 實作老舊應用與建立雲原生應用,線上與線下應用的平滑融合內建。

雲原生下,企業很多應用都要進行微服務解耦,遵從微服務的治理架構,進行水準擴充的架構的設計,甚至把原來的單體架構逐漸進行拆解。但這個過程不是一蹴而就的,尤其是那些包袱比較重的傳統行業,他們還面臨很多現實的挑戰。是以我們要在企業傳統IT架構和雲原生架構之間搭建無縫的橋梁,在確定企業業務連續性最大化的前提下,實作平滑的切換和演進。

以Roma Connect為例,它可以通過軟總線的形式,把雲原生和非雲原生的傳統世界無縫的連接配接起來,支援異構的應用和資料庫源的對接,也可以對接到雲上開發平台、資料湖,實作無縫互通。

在架構的平滑演進中,首先需要将傳統非雲原生應用封裝為REST接口與雲原生應用對接,通過統一接口服務層APIC進行開放,業務雲原生應用通過标準接口即可擷取老系統資訊。同樣的機制可以将線上線下,及部署在多雲環境上企業IT系統的無縫互通。

其次傳統Oracle/Sybase等傳統資料庫及中間件與裝置協定接入上雲:雲上雲原生應用通過雲上标準API調用、資料庫通路、消息訂閱等方式即可擷取傳統資料。

最後,通過全生命周期的API管理能力,包含從設計、釋出、上架、治理的全過程,幫助企業建構整個跨地域,跨組織、跨部門的應用網絡,并沉澱行業應用資産。

AI在行業落地面臨的問題是能夠擷取到的訓練資料是非常有限的,單純的依賴資料驅動的深度學習訓練,使得行業AI模型是非常難以泛化、通用化。

預訓練大模型是解決AI應用開發定制化和碎片化的重要方法。 通過一個AI大模型實作在衆多場景通用、泛化和規模化複制,減少對資料标注的依賴,賦能AI開發由作坊式轉變為工業化開發,比如華為雲之前推出的盤古大模型。

另外也要引入知識計算的能力, 類似于把知識圖譜這樣的能力和基于感覺計算的資料驅動的AI模型互補結合起來。也就是說把知識模型和資料模型,在資料樣本相對缺少的情況下結合在一起,更好服務于行業AI的落地。幫助企業打造自己的知識計算平台,整合分散在不同系統、多種形态的企業資料,形成帶有建議性的知識體系。

1.0階段的雲安全服務更多的是孤立的安全能力:虛拟化安全,hyporvisor防逃逸能力,雲防火牆能力其實都是割裂的,并沒有跟所有的雲服務形成互鎖。

全方位的立體式營運安全通過打通離散的雲安全服務能力,将其與其他雲服務及客戶應用形式互鎖, 建構安全Build-in的雲原生應用,以及引入可信智能計算,解決跨行業資料隐私保護與流通碰撞、價值挖掘之間的沖突。

首先通過可信智能計算提供四個核心能力,進行安全可信的資料計算。包括:

1、跨組織、跨行業的多方資料融合分析和多方橫向與縱向聯邦學習模組化;

2、支援對接主流資料源和深度學習架構;

3、支援安全多方計算(例如同态加密,差分隐私等),并支援使用者自定義隐私政策;

4、基于區塊鍊的資料計算軌迹的可追溯可審計。

此外,為了全方位安全,還需要将全棧雲(及其子集)下沉部署(連線/非連線),徹底解決敏感行業上雲安全顧慮,以及将全棧雲服務、企業新開發雲原生應用、aPaaS/SaaS等與全棧雲安全能力互鎖,為使用者建構體系化的雲安全平台。

點選關注,第一時間了解華為雲新鮮技術~

繼續閱讀