天天看點

阿裡雲道哥解密:保衛“雙十一”的技術牛在哪裡 | 硬創公開課

   有一個節日,是女人的狂歡日,也是女人背後男人的流淚日;

有一種沖動的激情,叫“買買買”! 這群甚至被譽為馬雲背後的女人,撐起了電子商務的一片天。 但是,你一定不知道的是,馬雲背後還有一個男人,在為這個盛大的購物狂歡節保駕護航。

這個男人,就是阿裡雲雲盾的負責人吳翰清,人稱“道哥”。

他是黑客道哥,也是“道哥的黑闆報”的“文藝網紅”。保衛阿裡雲這個中國 35% 的網站都坐落其上的雲計算平台和上面的居民,道哥覺得自己守土有責,不容有失。

尤其對于“雙十一”這個盛大的購物節,億萬人同時湧進“一扇大門”,阿裡雲到底應該怎麼應對?本期硬創公開課上,雷鋒網(公衆号:雷鋒網)獻上雙十一最強攻略——道哥聊了聊他們幹的事。

阿裡雲道哥解密:保衛“雙十一”的技術牛在哪裡 | 硬創公開課

吳翰清 阿裡雲首席安全研究員;阿裡雲雲盾負責人

2000年開始研究安全技術,長期活躍在中國的安全社群,在安全行業中有很大的影響力。2005年加入阿裡巴巴,是阿裡安全的早期建設者。陸續設計了阿裡巴巴、淘寶、支付寶、阿裡雲的應用安全體系。2012年到2014年成為安全寶合夥人,開始創業,緻力于為客戶提供更好的雲安全産品和服務。2014年重回阿裡,負責阿裡雲雲盾。著有《白帽子講web安全》一書,并營運個人微信/知乎公衆賬号:道哥的黑闆報。

阿裡雲道哥解密:保衛“雙十一”的技術牛在哪裡 | 硬創公開課

問答精華回顧

道哥:阿裡雲的願景是提供全球70%的計算能力,做的事情囊括了傳統意義上的雲計算,大資料、中間件和安全。

阿裡雲雲盾是為使用者安全推出的安全産品與服務。除了基礎攻防安全外,也提供全棧的安全解決方案。目前雲盾已經有十多個安全産品,涉及網絡安全、伺服器安全、應用安全、業務安全的各個方面。雲盾的增長非常快,目前保護了全國超過37%的網站,防護中國網際網路抵禦每天50%的大流量ddos攻擊,真正意義上驗證了 saas 在安全行業可行性。

道哥:阿裡雲面向的客戶包括大中小規模的企業,來自各個行業。因為做的是基礎設施,希望雲計算能成為水電煤一樣的公共服務。在用電時,電廠其實不區分客戶的行業,雲計算也應該一樣,是以雲盾面向全行業,不區分客戶大小。但是,根據客戶的需求,不同的客戶希望有不同的服務标準,這是可以了解的,就像用電也有分普通的居民用電,和工業用電一樣。隻是服務标準的不同,産品還是同樣的東西。

道哥:阿裡雲自身的安全保障,也使用雲盾同樣的技術。我們的技術都是在内部用得很成熟後,再進行産品化,給客戶使用。是以,産品特别注重實際使用效果。至于阿裡雲自身的安全體系,我們非常重視“紅藍軍”對抗的思想,會廣泛邀請業界白帽子為産品做安全測試。在這個過程中,我們會依賴于态勢感覺提供的「可見」的能力,感覺每一次攻擊測試行為,最終得到的效果是整體安全事件數、漏洞數的收斂。所有這些都可以在雲盾的産品體系中,比如,先知情報、态勢感覺等找到對應的産品和服務。

道哥:雲計算是大規模計算,任何事務隻要上了大規模,就會變得複雜和難于處理,但這也是創新的機會。大規模計算下的一個典型特點是「小機率事件變為常态」。比如一個正規的網站,一年可能都不會經曆一次 ddos 攻擊,但是在阿裡雲上,我們每天都要防禦數千次ddos攻擊。在這樣的攻擊量級下,靠人工處理已經變得不現實。這倒逼我們進行技術創新,是以我們做到ddos防禦的全自動值守,不需要任何人工參與。任何一次 ddos 攻擊都可以在1秒内完成從檢測到響應到防禦的整個過程。

道哥:态勢感覺差別于傳統的 siem ,有兩個非常關鍵的點。現在很多安全廠商都開始做态勢感覺,但往往隻是把 siem 換了個名字,這是種誤區。

态勢感覺最早在安全行業的應用,是我在 2015 年 7 月的阿裡安全峰會上正式釋出雲盾态勢感覺産品後提出來的。後來到了 2016 年的 4月 習總書記的講話裡,也明确了要重視網絡安全的态勢感覺。是以态勢感覺賦能的 visibility,是整個安全的基礎。

态勢感覺有兩個重要的特征,差別于其他安全産品。第一個是要基于原始的資料,要充分尊重原始的資料。目前雲盾每天分析超過 500t 的增量資料,存量資料的量在 100p 以上。這讓我們能夠從原始資料中分析出第一手的資訊,而不是從一些第三方安全裝置裡擷取第二手資料。最有價值的資訊都是存在于原始資料裡的,當我們的算法更新後,我們仍然能基于過去的原始資料計算出新的價值。

道哥:我們從各個緯度的 sensor 收取資料,包括網絡、伺服器、資料庫,也包括四層和七層的資料,也包括記錄檔和系統日志。因為今天雲盾是全鍊路部署的,既包括來自于全網的掃描器,也包括流量分析、應用層的資料分析,同時在伺服器還有 agent ,是以我們能從不同的視角觀測到不同的現象。同時阿裡雲還提供各個緯度的 api ,通過 ram 授權後,我們可以調用雲計算本身提供的一些資料。把所有的這些資料整合在一起,做出綜合的診斷。

道哥:我們希望把阿裡雲強大的計算能力充分的利用起來,應用在我們的安全領域。我們知道因為計算能力的解放,帶給了深度學習和人工智能非常大的機會。

比如,我們正在研究如何讓一個計算機系統,來代替安全專家的所有人工工作。包括所有的評估結果分析、政策維護、響應等,都可以通過機器自動來完成,這些需要進階思維和經驗的工作,在過去都是由專家人工完成。但是,我們認為由機器來代替是可行的,甚至在某些時候機器比人會做得更好。

這是一個很浩大的工程,我們正在逐漸努力。我們把未來的這個新的人工智能,叫做「雲小盾」,我希望他會是我們的一個明星員工。

道哥:實際上安全帶有保障屬性,和運維有點類似,是以做得好的安全往往是感受不到的。就像此前保護g20峰會一樣,過去幾年的“雙十一”保障在安全上都平穩度過。“雙十一”的挑戰來自于海量通路請求,導緻很多解決方案在這樣的場景下都會極具挑戰性。

比如,在“雙十一”,我們需要從全國,以及海外的數個可用區,将每秒的流量進行集中統計和分析,進行安全檢測和響應。這意味着跨地域的tb級流量分析挑戰非常大,同時對穩定性和實時性要求都非常高,如果其中有一分鐘失去檢測能力,很可能就會對後端的伺服器帶來巨大的壓力,進而導緻“雙十一”整體的失敗,是以“雙十一”是一場大考。

其次,在去年的“雙十一”,我們首次應用了 waf 技術,今年将繼續使用,也就是說“雙十一”的每一個請求,都會經過 waf 的安全檢測,這需要非常強的檢測能力和可以彈性伸縮的技術架構。waf支援同時下發超過100萬條政策,這也是在其他的安全裝置上沒有看到過的能力。因為“雙十一”獨特的場景,造就了我們的這些技術突破。

最後,也許消費者們能感受到我們存在的一點,在于在“雙十一”的過程中,我們采用了一種「無損限流」的技術。因為誰也無法預測“雙十一”的洪峰會有多大,後端準備再多的伺服器也許都不夠,是以在安全控制上,對于超出系統負載的請求,會采用一種「排隊機制」,但這種機制不會drop掉你的連接配接,而是會讓你等待,直到輪到系統處理你的請求。這有點像去蘋果店排隊買iphone,大家不是一擁而上,而是非常有序的排隊等待。

道哥:我們有專業的應急響應團隊來處理所有的緊急情況,包括産品的漏洞、雲上的安全事件、外部來源報告的一些問題,以及客戶投訴的一些嚴重case。我們會在事前廣泛的收集所有資訊,在事中有一個值班長的機制,來驅動所有相關團隊進行響應,在最後還會進行效果的觀察和複盤。

在雲計算上,經常會面臨一些大的安全漏洞,可能影響到數十萬的使用者。我們能觀測到一些進階的威脅是如何蔓延和傳播的,在内部稱之為「安全疫情」。事實上如果能提前一個小時進行止血,我們就可能會挽救數萬使用者的損失。是以,我們的應急響應團隊是在和黑客賽跑。而所有的應急響應,前提是要能被我們觀測到,這是态勢感覺的能力。是以,态勢感覺提供的「看見」的能力是我們的基礎。

在“雙十一”,我們有專門的保障小組,他們針對各種安全緊急情況,設計了幾十種預案。同時在“雙十一”前的幾個月,就開始不斷進行演練,以保證這些預案是有效的。在整個“雙十一”中,都會進行7*24小時的值守。

道哥:去年“雙十一”,很多黃牛來秒殺促銷商品。我們會通過威脅情報,提前分析全國黃牛的大概分布,以及他們使用的工具和資源。在“雙十一”前,我們會突擊下發政策,在主站的關鍵流量上 block 掉這些黃牛的工具和資源,保障正常的商家服務。我們在風控上的政策,對抗是非常頻繁的,經常是一個算法用半個小時,就要換新的了。

道哥:直播主要有兩個安全問題,一個是被 ddos 攻擊導緻直播中斷,那麼前期的大量市場推廣可能就白做了。是以直播期間需要準備好 ddos 的預案,同時網絡品質上還不能有抖動,影響到直播的效果;第二,很多直播還提供彈幕的功能,可能會有些違規、違禁的資訊會出現在彈幕裡,造成很不好的影響。是以,直播的 ugc 内容需要進行檢測。雲盾的綠網産品今天就是提供這個檢測與攔截服務的。

道哥:“雙十一”某些手機廠商會搞一些很大的活動進行秒殺,會吸引大量的黃牛黨來搶購屯貨,擾亂市場秩序。是以我們事先會通過威脅情報,以及結合一些黑産分析,摸清楚大概的脈絡。這是由專門的情報團隊和資料分析團隊完成的。在“雙十一”保障的過程中,我們會把這些情報應用在 waf 上,在關鍵流程中進行攔截。同時,壞人還會經常改變攻擊來源、攻擊工具,與我們的政策進行對抗。是以,我們還必須實時觀測政策的有效性,這些由保障團隊和資料分析團隊完成。

道哥:阿裡巴巴是一個大的生态系統。整個“雙十一”除了阿裡自身的天貓、支付寶會帶來大流量增長外,最直接的要迎接洪峰壓力的,還有快遞行業,以及支撐電商的 isv 。 

我們的 aliexpress 是國際的 c2c 業務,也是俄羅斯的第一大電商,曾經因為一次促銷搞垮了整個俄羅斯郵政。類似的問題也在中國發生,這也是阿裡巴巴集團做菜鳥物流的原因。我們希望能夠幫助優化全球的物流體系。

同時淘寶、天貓的這麼多商家,他們在“雙十一”的洪峰要處理的訂單可能是平時的幾十倍,這對他們的 isv (比如 crm 系統、庫存管理系統、評價系統等)造成了巨大的壓力。阿裡的聚石塔,就是把這些 isv 放到了阿裡雲上,提供更強的安全保護。事實上,阿裡的“雙十一”,90% 的訂單最終會流向這些 isv 。

今年雲盾會和聚石塔合作,對這些電商 isv 的安全進行整體的保障服務,保證“雙十一”的平穩度過。

道哥:“雙十一”是中國的奇迹,也是世界的奇迹。“雙十一”每一筆訂單的背後,都是對大規模計算的消耗,都是對大資料應用、安全技術的一次驗證。剁手黨們的狂歡,造就了全球最頂級的技術盛宴。這不僅僅是商業的成功,也是技術在一次次拓展自己的邊界。最終是我們一起共建了世界的未來。我們因你們而存在。

  本文作者:

繼續閱讀