“十年一覺雲栖夢,赢得江湖薄性名。”今年是雲栖大會自2009年開辦以來走過的第十一個年頭,也是張勇接任阿裡董事會主席以後,連續第三年在雲栖大會上發聲,來探讨新技術的帶來的能量與價值了。

張勇表示,“在疫情特殊階段,社會化合力爆發了新力量,新技術和産業、工作、生活方方面面結合在一起,帶來巨大的生産力。”阿裡巴巴為數字經濟時代的到來準備了20年,過去打下的數字化基礎可以有更廣闊的使用範圍,産生更深入的影響。
而在随後阿裡就展示了他們在新技術方面的成果,釋出了阿裡動物園的新丁-物流機器人“小蠻驢”和首個雲PC“無影”,而在這之前幾天阿裡剛剛官宣了“犀牛智造”平台。各種新技術産品可謂層出不窮,不過在看完了為期兩天的雲栖大會以後,筆者認為這些明星産品的背後,“雲原生”才是真正的“新技術”C位。
在雲栖大會上阿裡巴巴正式成立了雲原生技術委員會,由阿裡巴巴合夥人蔣江偉擔任負責人,著名資料庫科學家李飛飛、深度Caffe之父賈揚清等多名業内大牛擔任委員。
與此同時還推出了包括沙箱容器2.0、離線實時一體化資料倉庫MaxCompute等多款産品,而其中引起筆者特别關注的是阿裡雲開發平台(
https://workbench.aliyun.com),這是款産品打通了雲原生産品線與開發者之間的通路。所謂得開發者方得天下,阿裡雲開發平台是其建設雲原生開發生态的關鍵一環,雖然剛剛釋出,但是而筆者初步試用了一下這款産品之後,發現其在開發環境的建立、程式的調試以與雲原生産品的引入等關鍵環節都有良好的表現,這也充分展示了阿裡打造雲原生開發生态方面的野心。
十年前業界普遍流傳着一句話叫做“代碼正在吞沒世界”,後來人們又說“網際網路世界的一切源自開源”,而現在業界逐漸注意到原來“雲原生”才是真正的BOSS,先占領雲原生高地的公司将在未來占據統治地位。雲原生的最重要意義在于這項技術可以在提升30%研發效率的同時,降低30%的IT成本,也就是在産品傳遞速度與IT投入方面均較非雲原生的技術有着巨大的優勢。
雲計算在未來會成為整個社會和商業的基礎設施,屆時使用雲服務就像現在我們使用水電煤一樣簡單,使用者不需要了解水從哪裡來、怎麼過濾、怎麼鋪設管道等一系列問題,隻需要打開水龍頭就可以。而對于普通用來而言的雲原生正好可以幫助雲計算朝着普惠的方向發展,它提倡的是人們不需要關心應用邏輯以外的服務相關的事情,包括管理、配置、運維等,用多少就付多少。從這個角度來看, 雲原生是真正讓雲計算變成社會商業基礎設施的一個實作路徑,人們在使用雲計算的時候自然就應該按照雲原生的方式來進行。
目前阿裡雲的最新估值已經突破了1200億美元大關,是國内雲計算領域的絕對一哥,而且飛天作業系統到神龍伺服器再到現在的雲原生,阿裡在技術方面也一直是業内的佼佼者,無論是技術支援能力還是産品的豐富度都是國内第一。不過在十幾年前王堅院士初建阿裡雲的時候,應該沒有想到能取得今天的輝煌,因為在當時雲計算領域還基本無人問津。
雲計算-從無人問津到王者歸來
10年前的雲計算還是一種倍受質疑的新興技術,在烏鎮網際網路大會的前身-中國IT領袖2010年峰會上,多名IT業大佬都表示,“雲計算是新瓶裝舊酒”、“雲計算概念過于超前”。
由于當時雲計算技術理念真的過于超前,這也使王堅不得不向現實妥協,在2012年聯合天語、英偉達推出了阿裡雲手機,其搭載的雲OS作業系統整合了阿裡當時旗下如郵箱、雲應用、地圖 、浏覽器及IM通訊多個電子商務服務,雖有不少人看好阿裡雲手機,但由于小米等廠商的入局,阿裡雲手機也是以徹底失敗而告終。當時的王堅甚至因為這個項目的失敗而被冠以“騙子”的名号。也有不少人向馬雲建言盡快砍掉雲計算的部門,不過馬雲還是非常具有遠見的力排衆議,并說出了那句“每年燒十個億的也要造出阿裡雲”的豪言。
10年前業界對于雲計算的普遍誤判與阿裡的高調入局形成了鮮明的對比,而現在的結果也已經非常明顯了,目前阿裡雲不僅坐穩了國内第一,國際第三的位置,而且正在縮短與業界龍頭AWS的距離,相信阿裡今後憑借國内新基建企業全面上雲的春風,還将進一步發展壯大。
技術造就阿裡雲
“十年寒窗無人問,一舉成名天下知。”在IT界幾乎每隔十年就會有一個新的生态出現,比如Windows+Intel的Wintel聯盟所把持桌面生态85%以上的市場佔有率,Arm+Android、IOS的AAI則占有移動生态100%的市場佔有率,而在這個雲計算的時代阿裡飛天作業系統、神龍伺服器、無影雲PC與雲開發平台的四位一體組合,則有望打造一個屬于我們自己的雲技術生态,這一切源自于阿裡人對于技術的不斷追求。
在2008年時任微軟亞研院副院長的王堅在見到馬雲時,他說的第一句就是“如果阿裡還不掌握技術,未來就不會有阿裡的身影”,可能也正是從那時起注定了阿裡将成為一家以技術為核心的公司,對于技術的追求與掌控,幾乎成了刻在阿裡技術人骨子裡的一部分。
在十幾年前,中國的網際網路企業普遍迎來了一波流量爆發,在2003年推出支付寶以後,淘寶交易迅速增長從2005年到2012年,交易額從80億元、200億元到1000億,直到破萬億,不過這種爆炸式增長,也成了阿裡人甜蜜的負擔,因為阿裡電聯使用者的增長速度已經漸漸超出系統處理能力的提升速度了,而原有一直沿用的IOE(IBM的小型機、Oracle的資料庫和EMC的存儲)中心化系統與這種高使用者并發的場景幾乎格格不入,且不無論達到如此性能的IOE系統成本會有多驚人,問題的關鍵在于即使是當時最強大的科技公司IOE,也沒有經曆過上億使用者同時線上的業務場景,使用他們的産品方案有如南轅北轍,無法真正解決問題。是以王堅率先提出“去IOE”的目标,通過打造阿裡自己的技術來解決使用者爆發式增長的問題。
“去IOE”其實是上雲另一種表述方式,在IOE架構的系統中提升算力的思路是讓伺服器越來越強,而雲計算的分布式思路是隻需要增加伺服器節點的數量,就能處理更多的并發服務請求,而雲系統的業務連續性,并不是靠高可用性來保證,而是靠整個服務體系的容錯能力造就的。正在是不斷探索中,阿裡人摸索出了新的雲計算分布式架構,通過發揮雲計算的威力,使得看似普通的虛拟機叢集,能夠碾壓一體機,為億萬使用者同時提供優質的服務。
欲戴皇冠,必承其重,當時的阿裡不可能隻享受使用者增長帶來的好處,卻不為此付出努力,根據阿裡的評估想為全國人民同時提供“雙十一”式的搶購服務,至少需要5000台伺服器的叢集,這也是5K之争的最初由來,而如何管理超大規模的計算叢集,世界上還沒有哪家公司有過經驗。
5K之争,阿裡人的倔強
“自研還是拿來主義,這是個問題”,可以說在我國整個自主技術的研發曆史上,阿裡的5K叢集之争非常具有代表性意義。代号為雲梯1的機群,搭載了開源的Hadoop大資料系統;代号為雲梯2的機群,承載的是阿裡雲當時自研的ODPS(Open Data Processing Service)開放資料處理服務以及底層的飛天系統,ODPS其實就是我們上文所提到的大資料計算引擎MaxCompute的前身。雲梯1和雲梯2都是當時阿裡集團處理海量資料存儲與計算的系統,2008年雲梯之争啟動時,飛天作業系統還沒有成型,不過當時阿裡已經有了9個Hadoop叢集。
雲梯1和雲梯2這樣的5K競争在阿裡技術選型的過程中其實非常普遍,而5K之争所引發的讨論尤其熱烈,Hadoop作為大資料的标志性項目,更加成熟,但是可控性、安全性的問題可能會存在一些的坑,而自研的飛天系統雖然自主可控,但在當時還不穩定。這樣的對比也讓阿裡的各位技術大牛們十分的糾結,不過答案在2013年底的時候正式揭曉。
2013年8月15日,基于阿裡雲飛天的雲梯2規模達到5000台伺服器規模,而且實作了跨機房,并經受了整機房斷電的嚴苛考驗。該平台計算100TB排序隻需30分鐘,遠超雅虎在當年7月剛剛創造的71分鐘世界紀錄。阿裡雲成為世界上屈指可數的幾家,擁有如此技術實力的公司之一,同時也是第一個對外提供這種計算能力的公司。最為關鍵的是飛天作業系統是阿裡人自研的,為了紀念每一行代碼都是自己編寫的飛天作業系統,阿裡還在園區内為飛天立碑以紀念飛天的貢獻與意義。
在以飛天為基礎的雲梯2隊奠定了堅實技術根基之後,2014年阿裡雲迎來真正轉機-改造12306。14年剛剛問世的12306,被很多網友怒噴為世界上最爛的網站,因為它永遠都隻會一招“該網頁無法打開”。但是馬雲在2015年達沃斯論壇時說的:“我告訴阿裡的年輕人,去支援12306,不收一分錢。因為我不想看到農民工兄弟買不到火車票。這不是為了錢,不是為了政府,是為了那些兄弟不用在雪夜等待買票,隻需要通過手機、電腦就能順暢購買。”用上了阿裡雲的12306,真是有了脫胎換骨般的改變,再沒出現頻繁的當機現象,人們也不禁驚呼原來雲計算技術真的可以啊!
從此阿裡雲正式步入正軌,同年的SortBenchmark的排序競賽中阿裡雲用不到7分鐘就完成了100TB的資料排序,打破了ApacheSpark之前23.4分鐘的紀錄。并獲得了2017年中國電子學會設立科技進步獎特等獎。
發力雲原生
正文筆者前文所講,雲原生技術可以在提升30%研發效率的同時降低30%的IT成本。傳統雲計算技術的本質是虛拟化,當業務需要快速支撐一個活動的時候,通常會申請伺服器甚至臨時采購一些雲伺服器ECS,以增加算力,但是這些雲伺服器至少也是按天計費的,而促銷活動活動往往隻有幾分鐘就結束了,這也使得臨時加上的算力不能及時回收,造成浪費。
而雲原生技術的本質是服務化,彈性計算、Serverless等技術的幫助下,企業可以在業務促銷時重點傾斜算力資源,結合促銷時将這部分算力回收,這對于雲服務商與企業雙方來講都是共赢的結果,雲原生技術一方面可以友善使用者通過最小的代價,獲得最強AI算法及容器化、可伸縮的算力加持;另一方面也提升了雲服務商的産品适用範圍,而這些特性對于阿裡雲這種通過成就客戶來成就自身的公司來說,顯得尤其重要。
雲原生對于阿裡來講,最大的價值就是友善對外輸出自身的服務能力,而有了Serverless、微服務、容器等雲原生技術的加持,阿裡就可以放手幫助中小企業雲創新,依靠阿裡雲雲、支付寶、天貓、淘寶等資源對這些創新進行扶持,比如越來越多的創業者在用阿裡雲的服務來連接配接線下的商業以及其他的行業,等等諸如此類,其實都是阿裡雲在不斷追求極緻技術的過程中,所産生的社會效益。
将Cloud Native翻譯為雲原生,也是阿裡人的創意,可以說原生這樣的表達,充分展示了這會是一項與雲計算時代完全合拍的技術。是由團隊文化,新的技術架構,和新的工具和運維結合的四大支柱構成。
通過像阿裡雲開發平台這樣高度自動化的研發工具,可以以滿足快速變化的客戶需求。這些應用采用自動化的,可擴充的,和高可用的架構。研發團隊通過高效的雲開發平台,可以快速根據線上回報對産品進行不斷地疊代改進。也就是原先以天為粒度的疊代周期,在雲原生的加持下可以縮短到小時級,同時還能降低成本,這樣的技術想不火爆恐怕都很難。
未來已來-雲原生+AI的巨大潛力
從目前AI技術的發展趨勢來看,AI發揮價值的最大阻礙在于其平台搭建成本過大、入門門檻太高,因為最新的深度學習模型對于算力的需求是非常驚人的。比如Open AI的GPT3,其整個模型的參數數量達到了1300億,這幾乎是上一代GPT2模型參數的幾十倍,甚至Open AI的科學家直接在GPT3的論文指出:“越大的模型往往表現更好。這表現擴大規模可能仍然是實作更好性能的方式。”而一般的創業公司如果沒有雄厚的資金實力是不可能搭建這種級别的AI訓練平台。
而将計算能力服務化、函數化恰恰是雲原生技術的特長,是以越來越依靠大力出奇迹的深度學習模型,也從另一個角度推進了AI與雲原生的技術合體,隻有将 AI能力完全服務化能降低使用門檻,促進行業創新發展。AI雲原生實際與全場景全棧AI是同一概念,也隻有做好AI雲,才能讓AI充分發揮威力,展現價值。
雲原生與AI恰好都是阿裡所擅長的技術,如果将資料比作這個數字時代的石油,那麼豐富的業務場景與龐大的使用者基數以及阿裡雲開發平台優秀的連接配接能力,都為業界提供了世界上最大的原油儲存基地,而當阿裡通過雲原生技術将自身的能力服務化開放出來,也就為我們新經濟的發展引擎注入了源源不斷的動力。
“千磨萬擊還堅勁,任爾東西南北風”低調與堅韌,是阿裡技術團隊最明顯的标簽,雖不引人注目,但是不容忽視,相信看到這裡,各位讀者也可以對于阿裡雲10餘年的技術發展道路與疊代邏輯有了一定的了解,相信隻要阿裡人繼續保持對于技術的追求那麼未來,可期。