文章目錄
- 一、飛天系統
- 1.系統簡介
- 2.系統定義
- 3.系統架構
- 4.系統核心
- 5.系統功能
- 6.大事記
- 二、飛天洛神
- 0.新聞資訊
- 1.洛神的簡介
- 2.洛神的架構
- 3.洛神的技術演進之路
- 4.洛神的特點
- 5.洛神的關鍵設計
- 6.結束語
一、飛天系統
1.系統簡介
飛天（Apsara）是由阿裡雲自主研發、服務全球的超大規模通用計算作業系統。
飛天誕生于2009年2月，為全球200多個國家和地區的創新創業企業、政府、機構等提供服務。
它可以将遍布全球的百萬級伺服器連成一台超級計算機，以線上公共服務的方式為社會提供計算能力。
從PC網際網路到移動網際網路到萬物網際網路，網際網路成為世界新的基礎設施。飛天希望解決人類計算的規模、效率和安全問題。
飛天的革命性在于将雲計算的三個方向整合起來：提供足夠強大的計算能力，提供通用的計算能力，提供普惠的計算能力。
2.系統定義
系統為什麼叫“飛天”？
主要緣由則是在世界神話中，不乏飛向太空這個主題，這是人類對探索的終極想象力的定義：飛向未知的浩瀚蒼穹。在中國神話中，輕盈，美好的飛天更承載了幸福與快樂的意義。是以阿裡雲把自己開發的通用計算作業系統命名為“飛天”，是希望通過計算讓人類的想象力與創造力得到最大的釋放。
3.系統架構
飛天的主要組成部分包括哪些，架構是怎樣的？
- 飛天管理着網際網路規模的基礎設施。最底層是遍布全球的幾十個資料中心，數百個PoP節點。飛天所管理的這些實體基礎設施還在不斷擴張。
- 飛天核心跑在每個資料中心裡面，它負責統一管理資料中心内的通用伺服器叢集，排程叢集的計算、存儲資源，支撐分布式應用的部署和執行，并自動進行故障恢複和資料備援。
- 安全管理根植在飛天核心最底層。飛天核心提供的授權機制，能夠有效實作“最小權限原則（Principle of least privilege）”。同時，還建立了自主可控的全棧安全體系。
- 監控報警診斷是飛天核心的最基本能力之一。飛天核心對上層應用提供了非常詳細的、無間斷的監控資料和系統事件采集，能夠回溯到發生問題的那一刻現場，幫助工程師找到問題的根源。
- 在基礎公共子產品之上，有兩個最核心的服務，一個叫盤古，一個叫伏羲。盤古是存儲管理服務，伏羲是資源排程服務，飛天核心之上應用的存儲和資源的配置設定都是由盤古和伏羲管理。
- 在基礎公共子產品邊上，還有一個服務，叫做天基。意思是“飛天的基礎”。天基是飛天的自動化運維服務，負責飛天各個子系統的部署、更新、擴容以及故障遷移。
- 飛天核心服務分為：計算、存儲、資料庫、網絡。
- 為了幫助開發者便捷地建構雲上應用，飛天提供了豐富的連接配接、編排服務，将這些核心服務友善地連接配接群組織起來，包括：通知、隊列、資源編排、分布式事務管理等等。
- 飛天接入層包括資料傳輸服務，資料庫同步服務，CDN内容分發以及混合雲高速通道等服務。
- 飛天最頂層是阿裡雲打造的軟體交易與傳遞第一平台------雲市場。它如同雲計算的“App Store”，使用者可在阿裡雲官網一鍵開通“軟體+雲計算資源”。雲市場上架在售商品幾千個，支援鏡像、容器、編排、API、SaaS、服務、下載下傳等類型的軟體與服務接入。
- 飛天有一個全球統一的賬号體系。靈活的認證授權機制讓雲上資源可以安全靈活地在租戶内或租戶間共享。
- 七年實踐，飛天已經建立一個完善的雲産品體系。同時還能提供網際網路級别的租戶管理和業務支撐服務。
4.系統核心
飛天作業系統的核心競争力和核心能力是什麼？
- 自主可控：對雲計算底層技術體系的把控力，自主研發，自己解決核心問題。
- 排程能力：10K（單叢集1萬台伺服器）的任務分布式部署和監控。
- 資料能力：EB（10億GB）級的大資料存儲和分析能力。
- 安全能力：為中國35%的網站提供防禦。
- 大規模實踐：經受雙11、12306春運購票等極限并發場景挑戰。
- 開放的生态：相容大多數生态軟體和硬體，比如CLoud foundry、Docker、 Hadoop。
5.系統功能
飛天作業系統解決了什麼不一樣的問題？
- 算得起：客戶的計算成本問題，即開即用，零capex，零基礎運維人員投入，計算資源彈性擴充，降低opex
- 算得快：客戶的計算規模瓶頸問題，以及客戶應用的實時性問題
- 算得準：客戶應用的資料智能問題，讓小客戶具備和大公司一樣的資料智能的能力
- 高可用：客戶應用的業務連續性問題，客戶的服務可以部署在多個region，并支援靈活多樣的資料同步機制，打造高可用系統
- 安全性：安全管理根植在飛天核心最底層，還建立了自主可控的全棧安全體系
- API經濟：讓開源産品、ISV、SI、和雲SP能夠有效協同為客戶提供服務
6.大事記
飛天大事記
-
2008年
9月 阿裡巴巴确定“雲計算”和“資料”戰略，決定自主研發超大規模通用計算作業系統“飛天”。
10月 飛天團隊正式組建。
-
2009年
2月 飛天團隊在北京寫下第一行代碼。
-
2010年
4月 阿裡金融訂單貸款産品“牧羊犬”在飛天平台上線。
8月 飛天作為通用平台，成為阿裡集團内部四大應用的公共基礎：搜尋（大規模線上、離線應用）、郵箱（結構化線上應用）、小檔案存儲（海量檔案存儲）、阿裡金融（大資料應用）。
-
2011年
7月 阿裡雲開始大規模對外提供基于飛天的雲計算服務。
-
2013年
8月 阿裡雲成為世界上第一家對外提供5K雲計算服務能力的公司。
-
2014年
7月 阿裡雲釋出産品MaxCompute。通過MaxCompute線上服務，小型公司花幾百元即可開始分析海量資料。
-
2015年
1月 12306将車票查詢業務部署在飛天上，春運高峰分流了75%的流量。
6月 曆經一年半時間，阿裡巴巴和螞蟻金服完成“登月計劃”，将所有資料存儲、計算任務全部遷移至飛天平台。
10月 Sort Benchmark2015年排序競賽中，飛天用377秒完成100TB的資料排序，打破四項世界紀錄。
-
2016年
1月 阿裡雲釋出一站式大資料平台“數加”，開放阿裡巴巴十年的大資料處理能力，首批亮相20款産品。。
4月 阿裡雲釋出人工智能ET。ET基于飛天強大的計算和大資料處理能力進化而來，初步具備聽、說、看的感覺能力，并能在交通、制造等領域輔助人類進行全局決策。
4月 阿裡雲釋出專有雲（Apsara Stack），支援企業客戶在自己的資料中心部署飛天作業系統。
二、飛天洛神
0.新聞資訊
“最好的網絡就像神一樣，無處不在，又感覺不到她的存在 …… 大繁至簡，這是我們努力的方向。” – 阿裡雲網絡進階技術專家 孫成浩
2018杭州·雲栖大會的主會場上，阿裡雲産品總監何雲飛介紹了阿裡雲自主研發的雲作業系統飛天的全面更新版飛天2.0。作為飛天2.0核心組成部分之一，洛神首次向外界揭開了她神秘的面紗。在随後的未來網絡技術專場上，阿裡雲網絡進階技術專家孫成浩對飛天洛神進行了更為詳細的闡述。本文是首次對飛天洛神的概念、演進、架構、特點等方面進行系統化的解讀。
1.洛神的簡介
從實體網絡到使用者感覺到的網絡之間存在一個虛拟網絡層。在阿裡雲，我們給這套虛拟網絡系統起了個名字，叫做洛神。洛神是阿裡雲飛天中負責虛拟網絡的系統，她為阿裡雲客戶提供了豐富的網絡産品，如VPC、SLB等。同時，她也是ECS，RDS，OSS，NAS等100多個雲産品的網絡基礎設施。
她還支撐了阿裡巴巴集團和螞蟻金服集團衆多業務，如電商、支付、物流等。在全球範圍内，洛神服務着百行百業超過百萬的使用者。在雙十一、世界杯、春運等網際網路流量的尖峰時刻，為每一個消費者的流暢網絡體驗而默默保駕護航。
很多人都知道阿裡雲有一個飛天（Apsara）系統，系統中各元件是用各種神的名字命名的，包括盤古，伏羲，女娲，神農等，其中盤古是分布式檔案系統，伏羲是分布式排程系統。為什麼叫虛拟網絡系統叫洛神呢？在古代，河運是非常重要的交通手段，就好比今天的網絡一樣。是以，在給虛拟網絡系統起名的時候，我們就起了一個河神的名字，叫洛神。
2.洛神的架構
洛神是阿裡雲的分布式作業系統飛天的一部分。在飛天的基礎架構裡面，最上層是各種雲産品，包括大家熟悉的雲産品RDS，ECS，VPC，SLB等等，支撐這些是飛天的3個基礎元件，包括存儲系統盤古，資源管理伏羲和網絡管理洛神。也就是說，洛神除了支撐了阿裡雲的網絡雲産品之外，另外一個重要的角色就是支撐了其他雲産品的網絡基礎設施。
講到洛神的技術架構，洛神系統由3大子產品組成 – 資料平面，控制平面和管理平面。
資料平面負責雲網絡中資料包的處理，它就如同實體世界中的網線和路由交換裝置，把資料包高效率低延遲的從發送端送到目的地。類似的，洛神資料平面也包含各種不同角色的元件，包括支援各種不同類型計算形态的虛拟交換機，用于資料中心互連的DCN網關，用于雲網絡連接配接公網的internet網關，用于雲上雲下互連的混合雲網關，提供負載均衡能力的負載均衡網關和提供端接入能力的智能接入網關。
為了提高這些元件的轉發性能，洛神不僅使用了軟轉發的技術，而且也對軟硬體結合甚至純硬體的技術進行了廣泛應用。
控制平面則控制如何處理資料包，他是洛神的業務大腦。從技術上看，洛神的控制平面是一個層次性的分布式控制系統，最底層的裝置控制器主要負責控制和管理資料平面的各種元件，同時在每個區域存在一個虛拟網絡控制器，在全局存在一個全球路由控制器。
區域的虛拟網絡控制器則負責本區域的雲網絡的管理與排程, 全局路由控制器則負責協調排程各個區域的資源形成一張全球的雲網絡。基于虛拟網絡控制器和全局路由控制器之上的則是NFV控制器，完成虛拟網絡進階功能例如VPN等産品的編排和抽象。
洛神的管理平面是網絡運維和營運的中樞，它管理着海量的網元以及使用者，這裡的海量指的是千萬級虛拟機和百萬級網元。為了能做到這一點，洛神的管理平台是基于大資料以及機器學習技術實作的，它對網絡運作當中産生的海量資料進行實時/離線計算，資料模組化，來驅動網絡資源的提前規劃，網絡系統的日常維護以及網絡産品的智能營運。
整個管理平面包括了一套高性能，分布式的資料分析系統，由它分析出來的資料提供給智能運維和智能營運系統，完成資源規劃，網絡建設，系統變更，實時監控，故障逃逸，産品營運等整個網絡産品生命周期的工作。最終達到排無人值守的網絡變更，先于使用者的問題發現，高效簡單的故障逃逸以及豐富全面的産品及使用者營運的效果。
3.洛神的技術演進之路
洛神能夠成為飛天的四大支柱之一，不是一天煉成的。洛神的演進經曆了四個階段。
首先是經典網絡階段，在這個階段，網絡隻有一個概念，就是公網帶寬。經典網絡階段的問題是使用者無法自定義網絡拓撲，這樣使得使用者無法完成雲上雲下的混合雲聯通。為了解決這個問題，洛神進入了VPC階段，VPC階段裡，洛神在每個地域虛拟了數百萬張網絡，并且使用者可以完全自定義這張網絡。
随着網絡規模越來越大，洛神也從區域網絡進入到全球網絡的階段，在這個階段，洛神主要解決如何更好的管理超大規模網絡的問題，雲企業網和雲連接配接網構成了第三代洛神的兩個主要特性。
滿足了主要的客戶的需求之後，我們開始思考如何進一步提升使用者體驗。使用者對網絡的核心訴求是什麼？其實，客戶的最大訴求是網絡足夠強健可靠，不要發生問題。就像使用水和電一樣，使用者是不需要了解發電站和泵站在哪裡的。是以，洛神希望網絡對使用者是無感覺的，又是無處不在的。
洛神的發展，是一個從0到1，到100，再回到0的演進過程，大繁至簡，這是我們在研發下一代洛神中努力的方向，這也是我們首先在業界提出Networkless理念背後的思考。
4.洛神的特點
洛神的關鍵特點，包含安全，彈性和可靠，這3個特性也是洛神達到最終Networkless狀态的關鍵特征。
安全是基本盤，因為overlay技術把網絡邏輯的隔離掉，使用者的網絡之前完全不會互通。并且洛神中還包含了各種加密服務可以給到使用者，打造更深層次的的安全。彈性有兩個數字，一個是秒級的轉發性能的彈性，洛神支援從1MB到1TB在一秒内完成彈性，另一個是規模的彈性，洛神的單網絡支援10w台計算節點的規模。
這樣，洛神既可以支援小到虛拟web主機這樣的服務，也可以支援打到雙11零點這樣的海量峰值流量。談到可靠性，我們參考年平均故障時間這個參數，洛神引發的單執行個體故障時間隻有50ms，這個故障時間是極其短的。
5.洛神的關鍵設計
接下來我們詳細分析下洛神彈性和可靠性的關鍵設計。洛神系統的資料面，本身就是一台巨大的交換機。大家都知道，交換機的轉發晶片對資料包的處理，都是pipeline的，硬體處理永遠不會停下來，那洛神的資料面也是如此。從一個資料包進入洛神系統開始，到出去洛神系統的整個過程，經曆了洛神系統裡面的各個元件，都是不會被打斷的，這樣隻處理一件事情的資料面，一定是高效的。洛神的資料面包含了軟硬體結合的轉發技術和架構。
此外，洛神系統的網絡永遠不會因為維護而中斷，這意味着，洛神裡面的所有元件，都支援熱更新。
在可靠性角度上看，多機房容災是高可用的基礎。當阿裡雲的某一個資料中心雲機房開始部署的時候，洛神系統在實體設施部署完成之後會首先進行部署。這個時候，機房裡面有計算叢集，網關和控制平台。計算叢集上面有我們的虛拟交換機元件。對于資料面和控制面的關鍵結點都是叢集部署的，單台服務結點的問題不會對使用者産生任何的影響。當vm的主控端出現當機等嚴重問題的時候，可以在機房範圍内進行遷移，遷移本身也不會對vm的網絡屬性和連通性産生任何的影響。
每個雲機房裡面都會部署叢集的網關和控制器結點，而且随着機房的增多，會自動在雲機房裡面形成環形的備份關系。當一個新的機房建設起來，洛神系統部署之後，會自動加入到這個備份鍊裡面。這樣，當某一個機房的關鍵結點由于異常出現問題的時候，都可以自動在秒級切換到備份機房，由備份機房的洛神系統來提供服務。這種多層次容災機制，保證使用者可以在很快的時間内恢複業務。
除了多機房容災之外，如何快速發現bug和快速恢複，是可靠性的另一個關鍵點。為了解決這個問題，洛神首先設計了基于流的染色系統。如果把洛神系統看成一個整體的交換機，那麼從特性上來看，洛神系統是一個支援流跟蹤的交換機，具有各種豐富的政策。洛神系統的下面是實體網絡的裝置和交換機，通過洛神系統的流标記的能力和設定的政策，可以同時在實體網絡和虛拟網絡裡面具備流的染色，特定封包的鏡像，采樣，跟蹤等的能力。這些動作産生的日志，都會通過采集後做實時計算，如果流量有異常，會産生報警和日志給到管理者，部分報警可以觸發故障的自動處理和恢複。還有一部分資料經過計算處理，會産生資料報表和使用者畫像，也可以給到使用者一張炫酷的大屏。這個本質上就是資料化的能力。