作者丨張瓅玶（谷樸）阿裡巴巴研究員
阿裡巴巴核心系統作為全球最大規模、峰值性能要求最高的電商交易系統，在 2018 年之前隻通過混合雲彈性上雲方式，為 雙11 節約大量成本。直到 2019 年，阿裡巴巴實作了核心交易系統全面上雲并經曆了 雙11 峰值的考驗。
在今天由極客邦科技舉辦的 ArchSummit 全球架構師峰會 2019 北京站上，阿裡巴巴研究員張瓅玶博士作了主題演講《阿裡巴巴核心系統上雲：挑戰和架構演進的思考》，以下内容為演講整理。
核心系統上雲之路
工程師時常把我們的系統用飛機來做比喻，乘客則是上面承載的業務。雲也是一架這樣的載客飛機，作為基礎平台承載着千萬家企業的業務。今年阿裡巴巴實作了核心系統 100% 上雲，這個過程實際上走了幾年才達到今天的進展，而且這還不是結束，也隻是阿裡巴巴上雲的一個開始。
阿裡巴巴集團自身業務體量巨大，支撐其的網際網路技術體系任務也非常繁重，再加上核心電商業務系統的複雜度，對技術帶來的挑戰可想而知。
用王堅博士的話說，核心系統上雲讓阿裡巴巴和客戶真正坐上了同一架飛機。從 in-house 的基礎設施、定制化的平台能力，到通用的雲平台，從 cloud hosting 到 cloud native，這個過程面臨着巨大的挑戰，同時也是阿裡巴巴自身和阿裡雲的架構演進更新的曆程。
阿裡巴巴的核心交易系統涉及到包括天貓、淘寶、河馬、菜鳥、聚劃算、鹹魚、飛豬等一系列業務，其背後的核心電商系統的架構演進經曆了單機房架構、同城雙機房架構再到目前的中心同城容災，三地多單元多活架構。軟體也分為應用、微服務/中間件和資料庫。
阿裡巴巴的上雲步驟一共分為三個階段：
- 第一階段：在 2015 年之前未上雲，全部采用内部的基礎設施。
- 第二階段：2015 開始，雙11 期間單元化的交易應用開始通過彈性使用雲資源，實作成本節約的目标（注: 圖中上雲單元規模和實際上雲規模不成比例）。
- 第三階段：2018 年的 12 月，CTO 行癫決定阿裡巴巴啟動全面上雲，随後組建了以畢玄為上雲總架構師的架構組，确定了上雲的方案和步驟。
2019 年經過 1 年的努力，終于在 雙11 前實作了核心系統的全面上雲。這一年核心電商的中心和單元業務，包括資料庫、中間件等元件，實作了全面上雲和使用雲的服務。通過彈性運化，以及離線上混部（圖中未辨別）等能力，使大促成本持續下降，到 2018 年，大促新增成本比前一年下降 17%，比早期方案下降 3/4。
這一年核心電商的中心和單元業務，包括資料庫、中間件等元件，實作了全面上雲和使用雲的服務。全面上雲也不隻是将機器搬到雲上，更重要的是 replatforming，集團的技術棧和雲産品融合，應用通過神龍伺服器+容器和 K8s 上雲，資料庫接入 PolarDB，中間件采用雲中間件和消息産品，負載均衡采用雲 SLB 産品等。
雲已經成為了基礎設施，無論是電商公司還是其他行業，都可以用雲去做更多事情。
雲化架構
以全面上雲的 2019 年為例，2019 年 雙11 的實測，叢集的規模超過百萬容器，單容器叢集節點數量過萬，資料庫的峰值超過 54 萬筆每秒，對應 8700 萬查詢每秒，而實時計算每秒峰值處理消息超過 25 億條，消息系統 RocketMQ 峰值處理了超過每秒 1.5 億條消息。
這些資料背後所代表的，就是上雲過程中形成的巨大挑戰。針對這些挑戰，阿裡巴巴集團從伺服器、存儲、網絡、資料中心等基礎設施方面做了針對性的應對。
1. 自研神龍伺服器
核心系統全面上雲決定采用了神龍伺服器。神龍伺服器自研了 HyperVisor 虛拟化卡來替代軟體虛拟化，進而實作無性能損耗的虛拟化架構。其特點在于：
- 高性能：去掉了虛拟化帶來的 8% 的性能損耗；
- 支援二次虛拟化：使多樣虛拟化技術 (Kata, Firecracker 等) 的探索和創新成為可能。
在阿裡巴巴上雲過程中，雙11 期間壓力測試顯示，高負載壓力下的電商應用，實作 30% 的 QPS 上升，而 rt 也有明顯下降，長尾 rt 下降尤其明顯。同時，雲化的神龍伺服器，促進了運維管理的自動化和線上率水準的提升。阿裡巴巴認為，神龍是容器的最佳載體，神龍+服務是無伺服器化基礎設施的最佳載體。
存儲方面，走向了全面雲化存儲，也即全面存儲計算分離。
上雲也帶來了大規模使用雲存儲産品：盤古（盤古 2.0），實作了集團業務的更大規模的存儲計算分離。存儲計算分離即業務邏輯執行在計算叢集上面，存儲部署在存儲叢集上面。計算和存儲叢集之間通過高速網絡連接配接。
随着資料處理對存儲需求和計算需求在規模、速度、容量和成本等次元的不斷變化，計算與存儲分離可以最大限度地解耦并使這兩類不同的關鍵資源相對獨立地擴充和演進，獲得更好的彈性、資源效率，同時可以讓應用更容易的獲得分布式存儲的可靠性。
上雲過程中，盤古 2.0 的更新也帶來更好的 io 長尾延遲的穩定性，通過慢盤黑名單、backup read、動态 timeout 等關鍵技術大幅度的改進了長尾延遲。
2. 網絡：高速混合雲
原有的集團安全域，由現有的集團自建網絡為主體逐漸轉變為以雲上集團的虛拟網絡為主體，以 VPC 的方式實作網絡隔離混合雲網絡：為了實作集團網絡與雲上 VPC 内業務單元的互通，采用了雲專線産品方案，組成了混合雲網絡。雲專線方案中的虛拟網絡網關（xGW 叢集），采用硬體化 HGW 叢集。
3. 資料中心：自建網絡遷移上雲
資料中心自建網絡遷移到 VPC，在上雲過程中，實作了雲 VPC 最大規模提升 4 倍。安全組性能大幅度優化，企業級安全組最大容量提升 25 倍。
在公司内部，各業務自建的網絡之間是互相獨立的。随着全站雲化，網絡安全域的形态也随之發生變化，TB 級别的雲上雲下網絡流量對穿，從軟體實作的 XGW 更新到軟硬結合的 HGW，單節點性能提升 20 倍。
另外，值得指出的是，資源、賬号和權限體系對接互通是上雲的重要環節。
上雲架構未來演進：雲原生
上雲已成為趨勢，但是核心系統上雲隻是下一個開始。
企業上雲今天已經成為廣泛接受的必然趨勢，Rightscale state of the cloud report 2019 顯示，94% 企業已經在使用雲，其中公有雲 91%，on prem 70%。
企業的數字化轉型的過程中，利用雲的能力的過程也分為不同的階段，一般來說也會是走過和阿裡上雲類似的過程：首先是彈性使用雲的資源，實作部分業務上雲，Cloud-hosting。在此過程中，一般是非核心系統使用雲資源。然後涉及到核心系統的雲化，這裡發生的變化不僅僅是上雲的應用的數量，更是底層基礎設施整體使用雲平台的能力的過程。
在阿裡巴巴看來，未來是雲原生化的。
什麼是雲原生？從技術角度講，雲原生技術是一系列的應用建構和運維最佳實踐的集合。雲原生技術的生命力在于它聚焦于給使用者帶來價值，這些價值分為幾個方面：
- 容器和資源的編排，如 K8s、Container，帶來的運維效率提升，和資源使用率的提升。中心化的編排可以很好的充分編排資源降低企業成本；
- 分布式系統的可以彈性擴充的能力 Scalability 以及可靠性。盡管網際網路技術發展了幾十年，到今天，分布式、可擴充、可靠的系統，仍然是很難建構的。也得益于雲原生領域開放技術和雲的快速發展，一切正在變得越來越容易；
- 開放治理和開放的技術，改變了雲廠商和使用者之間的信賴關系，越來越多的企業信賴開放标準的雲服務。同時雲原生也降低了遷雲的成本；
- 雲原生技術所倡導的持續傳遞，聚焦于企業真正關注的價值，即疊代創新的速度，time to market。
從上雲視角看，雲原生（Cloud native）化是最大化使用雲的能力，使企業聚焦于業務的實踐。
為什麼這麼說？我們以阿裡核心系統演進為例說明雲原生化和使用雲的能力的關系。
阿裡巴巴的應用上雲前仍然存在應用和基礎設施耦合問題，由于采用自建軟體基礎設施，配置管理、釋出更新、監控觀測、流量治理等與業務應用耦合在一起，對于運維效率、研發演進效率和穩定性都帶來了挑戰。
我們在上雲過程中看到，實作标準的雲基礎設施和業務應用的全面解耦，将會帶來全面的研發運維效率提升。
那麼，使用 in-house 自建基礎設施就一定不行嗎？
阿裡巴巴集團的基礎設施也是由專門的團隊維護的，也在一定意義上實作了基礎設施和應用的解耦。不是所有的 in-house 的基礎設施就不雲原生。事實上，雲原生技術的很多發源地，比如 Google 内部的基礎設施很好地實作了和應用的解耦并帶來了業界領先的研發運維效率。
但是一般來說，由于内部開發容易忽視基礎設施和應用的邊界而實作了過多的非标功能或者傾向于采用更快速落地的方案，這些容易帶來基礎設施和應用的更多耦合，不利于長期的演進和效率。
例如阿裡的容器化雖然帶來了應用釋出的标準化的優勢，但是在容器化過程中我們采用了富容器方案加快容器化程序，使容器支援了很多虛拟機使用模式（啟停、原地更新等），帶來了容器的可遷移性比較差，容器運作生命周期可變帶來運維成本等。是以運維效率、穩定性和業務的演進效率，在這種耦合中，都受到了不同程度損失。
是以雲原生化的關鍵路徑，是實作應用和基礎設施的解耦，并且通過采用标準化的雲産品方式來支援。
那麼基礎設施和業務的邊界應該在哪裡？
阿裡巴巴認為邊界是在不斷的變化過程中，真正的判斷标準是業務關注的邊界而非架構邊界，基礎設施應無須業務持續關注和維護。例如，使用了容器服務，是否能讓業務無須關注底層資源？也未必，取決于資源的彈性能力是否有充分的支援（否則業務仍需時刻關注流量和資源壓力），也取決于可觀測性（否則問題的排查仍需關注底層環境）的能力。是以，能夠讓業務無須持續關注的基礎設施本身是一次重要技術演進。
無伺服器化的基礎設施，具有以下三個特點：
阿裡核心系統的雲原生化演進
阿裡巴巴集團的核心系統的雲原生架構演進，将繼續朝着基礎設施解耦，業務研發運維效率提升，成本下降的整體目标推進。具體來說，圍繞幾個重點的方向工作正在展開：
1. 節點托管的 K8s 服務
實作節點運作環境全托管的标準 K8s 基礎設施，實作資源和節點運作環境解耦：通過全托管的節點計算資源，業務無須管理伺服器降低運維成本。今年 雙11 集團實作了上海單元的 ASI 更新，帶來釋出擴容效率提升、運作時更穩定容器自愈率提升的效果。未來一年将實作核心系統整體 ASI 化。
2. Service Mesh 化
實作網絡、流量管理配置下沉基礎設施，與應用充分解耦。Mesh 化帶來的價值：
- 軟體基礎設施和業務解耦，各自獨立演進；
- 全鍊路精準流量控制和資源動态隔離；
- 提供對應用透明的雲安全特性（安全特性解耦）。
3. 應用和基礎設施全面解耦
阿裡巴巴集團核心系統通過雲原生化，實作應用基礎設施全面解耦，将有效解決此前存在的運維、研發效率及可遷移性、穩定性風險，這也是雲原生帶來的技術賦能。像下圖所表示的，應用的關注對象，從繁雜的基礎設施耦合元件，到隻需要關于業務邏輯本身。
4. 應用傳遞的标準化：OAM
今天應用的傳遞仍然面臨挑戰：目前雲上進行應用管理，需要面對的是差異性的雲基礎設施能力和多樣化的運作環境, 需要分别對接和管理，如 SLB、日志、網絡環境、後端依賴等。
今年，阿裡雲和微軟雲 Azure 聯合釋出了一個全新的項目，叫做 Open Application Model OAM：開放應用模型。是業界第一個雲原生應用标準定義與架構模型。在這個模型下，應用的開發人員、運維人員和支援 OAM 模型的平台層，就可以通過一個标準的 OAM 應用描述來進行協作。
通過上雲，最大化的使阿裡巴巴的業務使用雲的技術，通過技術架構的演進使業務更好的聚焦于自身的發展而無須關于通用底層技術，使業務研發效率提升，疊代速度更快是技術人的真正目标。正如阿裡巴巴集團上雲項目的代号所說的，“雲創未來”，通過技術創造新的價值和機會，通過技術創新帶來更好的未來。
“ 阿裡巴巴雲原生微信公衆号（ID：Alicloudnative） 關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐，做最懂雲原生開發者的技術公衆号。”