天天看點

零點之戰!探訪阿裡巴巴8大技術專家,提前揭秘2017雙11關鍵技術

零點之戰!探訪阿裡巴巴8大技術專家,提前揭秘2017雙11關鍵技術

<a href="https://promotion.aliyun.com/ntms/act/main20171111.html" target="_blank"><b>點選進入阿裡雲雙11主會場</b></a>

<b>摘要:</b>在距離雙11已經不到10天的這個時刻,一場看不見硝煙的戰争似乎已經打響。随着一年一度購物狂歡的即将到來,網上出現了很多阿裡技術應對雙11的段子。“阿裡工程師拜關公求伺服器不當機”,“技術人員圍着被子敲代碼”等傳聞也被消費者們所津津樂道。那麼,針對雙11期間極為嚴苛的技術壓力,阿裡巴巴究竟是用怎樣的方式進行解決的呢?在接下來的文段中,就讓我們一起來對阿裡巴巴在2017雙11背後的技術進行一次細緻的了解和探訪。

零點之戰!探訪阿裡巴巴8大技術專家,提前揭秘2017雙11關鍵技術

阿裡巴巴針對雙11的實戰演習

<b>容器服務:雲上資源助力亟速擴容</b>

容器服務是阿裡雲在2015年推出的容器應用管理服務,對一千多家企業客戶同時進行支援。其主要支援Docker應用的全生命周期的管理。在公有雲上面整合了阿裡雲的虛拟化、存儲以及網絡等方面的能力,簡化了使用者在容器應用運維上的複雜性。不僅同時支援Swarm和Kubernetes。還提供了公有雲和專有雲兩個版本,允許使用者通過專有雲的方式在自己的資料中裡面建構一個完整的容器運維能力。

雙11期間,針對過于洶湧的流量沖擊導緻資源量不足的情況,容器服務可以做到最大化友善企業将原來部署在自己機房中的應用部署到雲上,無需準備實體機器,也無需安裝作業系統和依賴,隻要拉下鏡像直接運作即可,就這麼簡單。

<b>視訊雲:人工智能同視訊産品迸發火花</b>

視訊雲是阿裡雲提供的一站式大視訊解決方案。能夠一站式的提供“海量存儲、高效分發、極速網絡”等優質而強大的服務,讓使用者輕松獲得極高量級的傳播能力。其廣泛應用于遊戲直播、娛樂直播、泛生活直播、教育類、遠端醫療、企業遠端視訊會議等典型場景。

針對視訊生産環節,阿裡雲點播服務能夠提供從視訊的導入到短視訊的拍攝、錄制、圖檔處理、線上編輯、視訊稽核等全鍊路服務。窄帶高清2.0的轉碼則可以令端到端的轉碼時效達到最高,同時也就確定了資訊傳播的最高時效。

在視訊直播場景下,針對内容解析、人臉識别、語音識别,視訊大資料分析的探索能對客戶的優化營運提供場景、端口、資料分析方面的全面支撐。

在視訊點播場景中,利用阿裡雲擁有強大的AI技術和海量資源支撐,視訊雲很好的實作了以視訊為入口的智能化處理。穩定成熟的内容分析,兼顧美學和關鍵性的封面選圖,精準的視訊指紋分析和深度學習帶來的高效稽核都極大的提高了工作效率,進而令對大規模視訊的無人化處理變成現實。

<b>中間件:為企業架構創造價值</b>

中間件最初是用于支撐阿裡雲自身的一系列系統,為了服務客戶而對外開放。包括恢複架構、消息隊列、實時監控、性能測試等一系列網際網路中間件産品。在EADS平台的基礎上提供了快速建構微服架構、應用開發、服務治理、高可用管控、限流降級等一系列功能。通過可視化平台,幫助使用者分批次、可中斷、有釋出單的呈現方式,使使用者能夠快速進行大批量應用的部署。

對于消息隊列(MQ)的中間件,削峰填谷的功能也将在雙11時期全力投入使用。這一元件的引入能夠幫助在阿裡雲在流量高峰時平緩峰值、減輕壓力,再将任務置于流量低峰的時段進行消費。為了確定其足夠穩定,阿裡雲對每條消息都進行了三次備份,并完善了對持續消息、順序消息、事物消息、定時消息等一系列消息類型的支撐。

針對分布式裡最關鍵的像資料庫領域,阿裡雲DRDS分布式資料庫産品一定是繞不開的。在整個中間件團隊,對外推出了分布式關聯資料庫DRDS。該産品專注于解決分布式領域讀寫分離、分庫分表、無線水準擴容等一系列分布式資料庫問題和流量高峰期分布式上存在的問題。對業務透明友好,并能對特定業務提供個性化支援。

最後,PTS壓力測試也同樣是一項優秀的性能測試領域産品。其将整個壓測服務spss化。客戶在公共雲上不需要部署任何元件,隻需提供整個應用的入口就能快速使用壓測服務。并具備指令測試豐富,流程進展快速,模型自動化配置設定等特有的優勢。

<b>雲存儲:面向對象,面向檔案</b>

在阿裡雲的存儲業務中,對象存儲OSS和檔案儲存NAS可以說是自家内部的當家花旦。其中,對象存儲以面向網際網路,資料海量,高安全性、經濟性、資料可靠等特點為人稱道,檔案存儲則因其強大的性能和對大容量、多協定的支援而受到使用者的廣泛好評。

OSS的應用場景主要有三:針對圖檔和視訊的多媒體存儲、大大簡化的資料備份歸檔過程、結合計算平台進而挖掘資料價值。對多媒體從業者來說,OSS的上下行具備的彈性伸縮能力可以讓他們對業務高峰的大量并發請求進行有效的處理, 其自帶的簽名機制不僅確定了資料的安全性,同時也減輕了使用者伺服器的負擔。

NAS則有所差別,作為針對分布式的檔案存儲業務,其可以利用計算和檔案存儲的彈性解決特殊行業大資料量計算的痛點,并給予使用者短時間訓練AI模型的能力,做到高性能存儲和檔案可共享通路的并行不悖。

<b>ECS</b><b>:彈性即是計算的特性</b>

2017年,阿裡雲不僅完成了ECS企業級産品的釋出,而且完成了一次軟體和硬體的資料疊代,推出了新一代硬體架構和軟體架構産品,通過對現有功能和産品形态優勢的持續優化和挖掘,将彈性發揮到了極緻。

簡單來說,彈性是整個彈性計算産品中一個最大的亮點。它展現在兩個方面,一是資源唾手可得、二是按量付費。使用者無論什麼時候想要計算資源都能拿到,時間上是很彈性的。同時,由于完全根據使用量來計費的,是以付費方式也是很彈性的。對使用者來說,無論在業務承載能力上還是在成本構成上,這都是一項極大的提升和優化。

<b>資料智能:我就是智能城市的大腦</b>

剛剛結束的雲栖大會中, ET城市大腦可謂是阿裡雲展示的衆多黑科技中耀眼的一項。杭州大腦的上線使高架道路出行時間節省了四點六分鐘,解決了高峰時段的城市擁堵問題,還讓蕭山120救護車到達急救現場的時間減少了一半。

在城市大腦的背後,必然離不開資料采集整合以及算法應用的技術支援。ET城市大腦将散落的資料彙合在一起,例如公交線路資料、高德地圖資料、車輛的GPS資料等,同時跟企業、公安、政府、營運商等多方收集的資料彙集,借助記憶學習和人工智能算法,通過視訊識别交通事故和交通擁堵狀态,再融合警察接警資料,對城市進行全面多發的感覺。構築出一座基于資料驅動的3D城市,并将其微縮模型投放在螢幕上。這不僅非常炫酷,也為城市治理者提供了一個更加友好、人性化的态勢監控界面。

ET城市大腦分為三大塊:資料整合層、記憶學習和智能算法層、應用層。并形成了城市大腦這一産品化的輸出架構。在行業内部,ET有智能語音,人臉圖像,OCR(光學字元識别)等智能産品。包括語音方面的實時文本轉換,智能法庭/語音智能客服;身份驗證場景的實名認證、人臉檢測、圖像場景打标、圖檔鑒黃;印刷文字領域的身份證,駕駛證,行駛證,工商管理證等的文字識别等廣泛的應用。并能夠利用dataV資料可視化神器提供資料展現,以滿足城市、各級大小企業和機構日常業務展示以及業務監控的需要。

<b>MaxCompute</b><b>:快速架構大資料倉庫</b>

MaxCompute是一項大資料的計算服務,它能夠為企業提供快速、完全托管的TB/PB級資料倉庫解決方案。MaxCompute向使用者提供了完善的資料導入方案以及多種經典的分布式計算模型,能夠更快速的解決使用者海量資料計算問題,有效降低企業成本,并保障資料安全。

MaxCompute的應用場景可以大緻分為三種:基于MaxCompute搭建企業的大資料倉庫、

機器學習、和基于加工後的資料實作個性化推薦。其具備強資料安全,從資料通路到最終的資料加工和處理,都能夠實時地通過實名認證展現出使用者的真實身份。

迄今為止,MaxCompute在傳統行業、網際網路行業以及初創公司中都有很多成功應用的案例,比如墨迹天氣、集團内的菜鳥網絡、螞蟻金服等,外部的新浪微網誌、ofo小黃車、美柚、天弘基金、衆安保險以及金立手機等都在使用MaxCompute作為自己的大資料服務。

<b> </b>

<b>Elasticsearch</b><b>:定制化大資料解決方案</b>

阿裡雲· Elasticsearch是基于開源Elasticsearch及商業版X-Pack插件,緻力于資料分析、資料搜尋等場景的一項服務。其在開源Elasticsearch基礎上提供企業級權限管控、安全監控告警、自動報表生成等功能。

作為基于開源項目的大資料服務,Elasticsearch産品不僅本身與開源社群完全相容。還提供了Kibana以及X-Pack這樣商業化插件的預置,以及ik等分詞插件提高使用者體驗。相對于企業進行自建,阿裡雲Elasticsearch能夠節約大量的運維和部署成本。并能獲得來自Elasticsearch 24小時不間斷的穩定技術支援。

總結而言,阿裡雲Elasticsearch産品有三個亮點:功能更加豐富、成本更加低廉、能夠提供更多服務支援,進而完美解決使用者在日志分析場景下各種各樣的訴求,并最終被應用于安全,搜尋等多個領域。

<b>雲安全:做客戶手中最強大的保護傘</b>

阿裡雲安全發展至今已過十年,自05年伊始,阿裡雲安全從一個支撐阿裡内部子公司安全的小規模團隊,逐漸發展為一個能夠對外提供十幾款商業化安全産品的大型安全部門,其中就包括了DDoS高防IP、安騎士以及Web應用防火牆等。

DDoS高防IP是阿裡雲安全産品起步較早的一項。早在2014年,雲安全團隊就因為成功為客戶防禦了全球最大的達到453G的DDoS攻擊而驚動業界。在2016年,阿裡雲對高防産品進行了一次較大的改版,将其分成網站防護和非網站防護兩個部分。它不僅能夠提供通用性的傳統四層高防,也能針對HTTP以及HTTPS協定提供較好的能力補充。而如今,阿裡雲高防已經能夠做到将DDoS

300G能力的防護成本降低到36萬元/年,使企業的防護成本收縮至昔日的十分之一。

安騎士是雲安全團隊提供的一款伺服器安全軟體,并在近期着重強化了針對ECS的漏洞管理能力,擁有從主機層面檢測安裝軟體安全狀況的全局視角,對漏洞在0day内進行響應的迅捷能力,和從漏洞的檢測開始、到修複、驗證一站式完成的閉環功能。

Web應用防火牆從2016年四月開始正式對外開放,并在最近推出了按量後付費的商業模式:服務付費直接與使用者使用量挂鈎,進而降低了這款産品的使用門檻,真正做到了普惠使用者。

<b>智慧航空:讓資料智能來到你我身邊</b>

航空邂逅大資料會碰撞出怎樣的火花?在今年六月份,阿裡雲天池平台攜手廈門航空共同舉辦了一場智慧航空AI大賽,目标直指航班延誤這一業界難題。

天池平台在2014年由阿裡巴巴集團推出,是一個全球性的高端資料類計算平台,并彙集了全球高品質的資料人才和資料愛好者。截至目前,天池平台彙聚的開發者人數達十餘萬,他們來自全球73個國家和地區的2700多所海内外高校、研究所和企業。

而廈門航空作為大賽的主辦方和資料的提供方,基于自身業務的實際場景作為需求進行了賽題的編制,并為大賽提供了真實而脫敏的資料,供參賽選手進行研究。

在智慧航空的建構中,阿裡雲航空大腦有着其無可替代的優勢:阿裡雲能夠通過對機場、航空公司、各類鐵路,公路交通與天氣的資料進行采集,針對情況制定出航空計劃和應急解決方案。利用阿裡雲強大的計算能力,優秀的算法建構,與各大相關企業機構的精誠合作,共同為群眾的航空出行做出自己的貢獻,打造一項覆寫全行業的生态。

<b>先知平台:助力企業級資訊安全</b>

阿裡雲的安全服務系列已經推出了較長時間,并在去年上線後又出現了一系列新的發展。整體上,面對企業客戶的安全服務主要由先知平台進行承載。具備包括“安全衆測”、“等保測評”、“安全教育訓練”、“SDL咨詢”等十多種安全服務。

安全衆測是先知平台最早的應用場景之一:它旨在為客戶提供最好的安全測試服務,通過阿裡雲和合作安全工程師對企業的漏洞篩查、包括對修複建議的提供,來從整體上完善合作企業的安全體系。

等保測評也是先知平台安全服務的重要組成部分,針對最新網絡安全法執行後,大量企業通過等保測評的需要,阿裡雲能夠利用先知平台在企業客戶與測評中心進行連結,進而幫助企業更好更快的通過自身業務的等保測評。

為了能夠提高企業客戶的安全開發意識,先知平台專門提供了針對性的安全教育訓練服務。并可以根據企業的不同研發方向進行定制化。針對某些小微企業伺服器規模有限,且無專業的安全團隊進行保障的情況,先知平台特别提供了安全管家服務,用于對雲上客戶進行正常的安全運作營運,保證其安全效果。

<b>雲資料庫:多樣</b><b> </b><b>普适</b><b> </b><b>安定</b><b> </b><b>穩健</b>

雲資料庫同樣是阿裡雲的重要産品之一,它通過極高的安全性能,架構、代碼、硬體上的多重優化、快速而自動化的響應等優勢,來為使用者在雲上的業務保駕護航。

安全是雲資料庫産品的第一目标。針對于此,阿裡雲針對自身産品,提供了非常多的安全措施。并從事前、事中、事後三個次元進行保障。

穩定性則是第二要務,無論是小到一個網卡的故障,還是大到一個機房的險情,阿裡雲都能通過其優秀的容災機制都能保證資料庫的穩定性要求。

第三點是使用者的可用性。基于流程的徹底簡化,如今使用者隻需要在控制台上點選滑鼠,就可以完成以前需要幾個人甚至是一個團隊在幾十個小時或幾天才能完成的事情。

最後,雲資料庫團隊在link級代碼資源方面做了很多的優化。同時能夠通過頂尖的專家團隊輔助使用者,來提供代碼層面的咨詢服務。

<b>CDN</b><b>:性能優異同覆寫廣泛并重</b>

CDN作是一項普适性極高的雲計算服務産品。主要用于解決網絡帶寬小,使用者分布範圍廣的困難。接入CDN能大量的簡化網站系統運維的工作量,友善多個地區、多個營運商之間的互聯互通,進而提升網站的通路穩定性和服務體驗。阿裡雲從08年開始自建CDN,并在12年開始服務于雙11。目前阿裡雲是中國最大的公有雲CDN廠商,也是國内首批取得專業CDN全國範圍服務營運商執照的團隊之一。

在CDN營運方面,阿裡雲擁有衆多獨特的優勢,首先,阿裡雲擁有覆寫全國各省市骨幹營運商的節點資源優勢,其次,阿裡雲CDN擁有強大的研發團隊,能夠将軟體的性能發揮到極緻。最後,随着CDN業務的發展,利用阿裡巴巴集團大資料的能力,阿裡雲可以提供大資料監控、配置、預制等分鐘級别的分析能力,并最終通過ip庫完成基于服務品質和成本的精确排程。

至今,阿裡雲CDN已經在視訊點播、視訊直播、靜态内容加速以及資訊安全等領域得到了大範圍的應用。如果你希望自己的站點更快速、更便捷,使用者體驗更好,享受到類似手淘一樣的服務,完全可以通過阿裡雲的CDN産品來達到此類使用者體驗,快速接入到阿裡雲的站點上來。

<b>雙11大促來啦,這些技術你想不想擁有呢?</b>

沒想到吧, “雙11購物節”不僅是消費者買買買的狂歡,也是阿裡巴巴内部的一場技術盛宴,背後有着多樣而穩定的各類技術進行保障。這些技術你想不想擁有呢?快去阿裡雲雙11大促會場去儲備技術能量吧,豐富的技術資源和優惠的價格相得益彰之下,你還等什麼呢!

繼續閱讀