雲原生

01、雲原生從何而來？

雲原生是用于指導如何在雲上建構和運作應用的方法論。 地雷談到，“雲原生”并不是一個新的概念。回顧雲計算史，從個人端應用到企業級應用，都早已開始“上雲”。起初，這些上雲的“非原住民”應用，延續了私有化部署的技術架構，把本地軟體不加修改地通過ecs遷至雲端。而ecs的弊端在于隻能承載計算，無法實作存儲。雖然上雲後的應用實作了業務打通，但随着業務擴大，原有的架構“可用性”明顯下降。國内雲廠商為了解決資料存儲問題，制作了雲磁盤，将其挂靠在雲主機上，實作資料備份，且無需更改程式。傳統軟體上雲的“高可用”問題得以解決。然而，這種方式引發了另一弊端——成本高。客戶把hadoop不加修改直接部署到ecs節點上，資料通過hdfs存儲在雲磁盤上，需花費大量成本。是以必須修改hdfs底層，把資料存到對象存儲上。随着需求不斷豐富，系統必須按照iaas、paas的技術特點進行重構，以便跟上業務和資料的爆炸性增長。 在私有化部署以及上一代傳統技術的軟體架構運維方法論的基礎上，帶着“高可用”、“低成本”等屬性，“雲原生”更新而出。————————————————

02、雲原生資料中台具有哪些技術要素？

“雲原生”概念發展至今，我們已并不陌生。而為什麼要強調“雲原生資料中台才是未來”？分級多域資料治理的剛需、雲原生技術降本增效的天然特征、國内基礎設施自主可控的要求……都将資料中台推向雲原生。 是以，奇點雲将雲原生資料中台的技術要素歸納為6點：ci/cd（持續內建持續傳遞）、容器化、對象體系、存儲計算分離、跨雲多域資料治理和中繼資料管理。這其中，對象體系、跨平台、自主可控是全新迸發出的幾個要素——奇點雲的雲原生資料中台datasimba，實作跨雲的多workspace管理，以幫助客戶的資料和應用跨雲治理和遷移。1、ci/cd（持續內建持續傳遞）ci/cd的本質是提高開發和部署效率。在業務量巨大的情況下，大資料和雲的運維人力成本極高。是以需要使用大量的自動化工具和大資料預測算法進行自動化運維。通過版本管理系統和devops基礎設施，實作自動化測試和持續內建。一個典型流程是，程式員送出代碼到特定的tag，觸發測試接口自動化測試腳本執行并發送報告。由此實作測試、釋出和部署自動化。在此基礎上建構特定的資料環境，對重要接口和鍊路進行自動化檢測。 2、容器化容器化本質上是一種虛拟化技術，一台主機可虛拟出上千個容器。單個容器的啟動時間更快，占用空間更小，而且可以根據實際應用的大小來彈性配置設定資源，無需額外采購伺服器，加快研發速度。使用容器編排基礎設施，對服務和作業進行治理，根除版本地獄，大幅度提高運維和內建效率。容器化編排與ci/cd是互相結合的。在資料中台領域，往往幾十台機器、上百個程序同時運作，且在這些程序中不僅要運作本身的程式，也要運作客戶的程式。是以，底層微服務的程序繁多。基于安全合規要求，客戶之間的程式需要保持分隔。是以，資料中台對于容器化的要求高于其他基于雲原生的應用。 3、對象體系根據現有業務抽象出核心對象，以标準restful風格提供api服務，解耦核心對象與業務層服務，以應對不同環境、不同業務場景的需求。這一系列正交的核心對象就構成了平台對象體系，上層業務可在此基礎上建構應用，高效演進。對象體系的api應該是優雅且向前相容的，一旦釋出，很難改變。例如，在win32研發時，出現某個單詞錯誤，幾十年後都無法修改。是以，需要把對象體系設計得極為詳盡和準确。奇點雲雲原生資料中台作為開放式平台，其上的api提供了一套對象，如：項目、作業、資料、源資料、賬号等，具有集中資料接口。 4、存儲計算分離由于雲具有分布式特點，在雲上無法天然将資料存儲在ecs中。是以必須将關鍵資料、狀态型資料存儲在對象存儲中。大量私有化元件都需要被改寫。如果把hadoop、spark等正常開源大資料引擎直接應用于雲主機，海量資料帶來的存儲成本和吞吐壓力，很快會壓垮客戶。是以，必須引入中間緩存實作計算存儲分離，将資料存儲到對象存儲上，同時相容hdfs協定，能夠根據業務需求進行彈性擴容，就能大幅度降低成本，提高叢集性能。 5、跨雲多域資料治理雲原生資料中台的一大優勢在于可以實作跨雲多域。例如，客戶在aws上使用資料中台，一旦需要轉移到其他平台，雲原生資料中台可實作在不修改代碼的基礎上直接遷移。對于具有多重業務、龐大資料體量的大型企業來說，為避免資料資産被一個平台所綁定，供應商必須呈現多樣化。是以，在客戶與一家供應商合作的同時，也需要使用獨立的第三方資料中台提供跨雲多域的資料治理能力，進而提高基礎設施的可控性和安全性。奇點雲雲原生資料中台datasimba以「第三方」的角色，為企業解決資料多雲并存的跨雲多域治理問題。 6、中繼資料管理由于資料量急劇增長，對資料的管理成為一大問題。雲原生資料中台的中繼資料管理功能，對資料的結構、名額、标簽、權限、上下遊血緣、生産作業等元資訊進行規範化管理，建立智能資料治理體系。同時支援資料盤點、安全審計、血緣分析、關鍵分級等應用，最終實作資料資産化。例如，某頂級品牌商具有73個業務系統，各自存儲在不同的資料庫和存儲媒體中，需要将73個系統全部集中在一個資料中台上進行标簽打通。在此需求下，資料治理十分重要，核心就是中繼資料的管理。是以，雲原生資料中台必須具備中繼資料管理功能。————————————————

03、雲原生資料中台能為使用者解決什麼問題？

具備以上6大技術能力的資料中台是走向雲原生後的重要更新。基于這些能力，雲原生資料中台究竟能為使用者解決哪些問題，帶來降本增效？1、提高研發效率通過微服務、ci/cd、對象體系、devops等一系列技術，提升疊代速度，增強在雲的複雜環境下的控制、自動化運維控制等。提高代碼開發、測試、釋出效率，降低疊代成本。2、降低運維成本通過上述的技術也可以實作開發及運維高效協同，有效提升對故障的響應速度，實作持續內建和傳遞。使得快速部署應用成為業務流程和企業競争力的重要組成部分，降低運維成本。3、降低存算成本大資料基礎設施的存儲計算成本驚人。存算分離和容器化能夠更高效地使用iaas資源，降低存儲成本。存儲和計算節點分離後，可以在不對存儲進行擴容的情況下快速增加計算資源。另一方面，單個容器的啟動時間更快，占用空間更小，而且可以根據實際應用的大小來彈性配置設定資源，無需額外采購伺服器。4、提高治理效率治理效率不局限于資料治理，也包括微服務治理、系統治理和api治理，需要自動化設計和架構。使用跨雲治理、中繼資料管理等技術，會大幅度提高企業積累資料資産的效率，降低安全風險，提高供應商的多樣化。