天天看點

身經百戰雲服務,方成IT 技術大牛——雲服務項目實施内幕

作者:阿裡雲MVP 李俊濤

從2014到2019雲計算行業一路蹒跚探索,雲上實踐者累計越來越多的經驗,企業對雲的态度也從最初的觀望、嘗試,發展為非雲不可。近年國家政府關于鼓勵雲計算發展的政策都在密集的出台。從十三五國家資訊化規劃到工信部出台了雲計算的3年規劃。甚至2018年,工信部又印發了《推動企業上雲實施指南》,明确提出了到2020年,要力争實作企業上雲環境的進一步優化,上雲比例和應用的深度要顯著提升,而且要新增上雲企業100萬家。這說明對于企業而言,雲化它不僅是自身戰略發展的需要,也是和國家戰略發展相一緻的。雲計算已經是勢不可擋的趨勢。

技術發展進步,需求變化萬千。随着企業“雲”使用的程度的加深,雲企業使用者的需求也發生了深刻的變化。2014年,企業還在思考是否要上雲、如何讓業務用上雲,但是到2016年,企業已經洞悉雲化趨勢,開始深度挖掘如何用好雲,讓雲計算融入業務。現如今,企業正在探索如何延伸雲,為業務提供更大的價值。

面對網際網路飛速發展,企業更加勇于嘗試、創新,結合自身豐富的雲上項目經驗,我們将通過杭州政務雲、老廟黃金、快魚服飾等企業項目的雲上實踐經曆,以展現雲計算發展給企業帶來的變革。

杭州政務雲---實作專有雲更新過程中的應用業務遷移

傳統政務向“網際網路+政務”的轉型,已成為不可逆轉的時代趨勢。“杭州政務雲”管理平台就是一個标志性項目。杭州政務雲平台是杭州市政府為推進政府資料資源整合、共享、開放和利用,推動大資料産業發展,搭建的雲計算基礎設施。華通雲作為全國率先提供政務專有雲的服務商,為杭州市政府唯一的資料中心提供托管服務,是阿裡雲重要的合作夥伴。由于阿裡專有雲大版本的更新,華通雲需要對專有雲完成無縫的v2到v3的業務遷移。

作為國内專有雲首次無縫更新,阿裡雲自身也存在一些技術盲點,駐雲技術團隊通過對阿裡雲系列産品底層技術的了解和不斷的技術實踐和摸索,最終給出了專有雲大版本無縫更新的解決方案。在該項目中所面臨的挑戰主要有:

·華通需要把專有雲平台上的ECS,RDS,ODPS,ADS遷移到公有雲,同時需要保持VPC中ECS,SLB的私網IP位址不發生變化

·公有雲上的VPC與專有雲在一個大段中,但是細分之後不在相同網段,SLB的私網IP無法修改,導緻無法保證更新後 IP不變

·專有雲的RDS資料需要遷移至公有雲,其中底層不通,無法進行資料傳輸

解決方案及架構:

身經百戰雲服務,方成IT 技術大牛——雲服務項目實施内幕

· 準備時期,提前規劃公有雲上VPC與專有雲的一個大段中,防止有專線的情況下,兩者無法指定路由。實作兩邊網段相同且資料通過公網傳輸

· 針對SLB的私網IP無法修改,駐雲根據專有雲ECS和SLB的IP位址的分布情況,盡可能把公有雲的IP的子網路遮罩設定的大些,用于批量建立SLB到時候能夠更快的比對位址。

· 針對ECS中的資料,将ECS系統盤鏡像通過公網控制台上傳至公有雲,對于資料盤采用資料拷貝或者整體用V2V的傳輸方式,進而保證了資料的一緻性。

· 針對RDS和ODPS中的資料先通過高速通道傳輸給ECS,經過ECS做資料中轉(保證專有雲的ECS可以通路專有雲的RDS并加入白名單)最後再在分别使用阿裡雲工具DTS和DataX實作資料的遷移。

面對國家政策的不斷出台以及政務網際網路化轉型的必然趨勢,杭州政務雲走在了前端。而随着阿裡巴巴于 2016 年底 正式提出新零售概念,雲計算所特有的靈活性、易擴充性、彈性、快速部署、高并發、高可用等屬性,便仿佛天生是為新零售建立的生長環境,為其創造了無限可能。

老廟黃金——高并發搶紅包背後的技術力量

新零售行業從來不缺少大膽嘗試、勇于創新的開拓者。2016年,支付寶與央視春晚強強聯合推出“咻一咻”搶紅包活動,以雲計算為技術後盾開啟全新春晚時代,為傳統佳節注入科技的血液,創造了全球華人的狂歡。自2016年開啟春晚搶紅包時代,曆經三年,從阿裡雲到騰訊雲再到百度雲,沒有一個雲廠商不是高度戒備如臨大敵。無論作為雲廠商還是雲服務提供商,所面臨的挑戰都異常艱巨。面對全球十幾億華人所帶來的高并發,對伺服器是暴風驟雨的洗禮,對技術人員也是一場生死時速的考驗。

老廟黃金作為春晚搶紅包項目的首批“試金石”, 為參加支付寶組織的春晚“咻一咻”搶紅包活動,老廟黃金必須解決以下幾點挑戰:

· 高并發:預計春晚活動每秒并發為10萬左右,因為通路量的不可預知性,可能會出現雪崩效應

· 資料:活動結束後需要統計整個系統的通路情況和使用者行為資料,資料庫、日志、緩存等常用手段在高并發的情況下,日志性能受影響程度非常大

· 安全:搶購類系統是惡意攻擊的重災區,滲透和DDos攻擊會對系統和營銷活動造成不可逆的影響

· 成本:按照傳統方式軟硬體投入至少100萬

身經百戰雲服務,方成IT 技術大牛——雲服務項目實施内幕

•架構與成本:采用典型的三層架構,接入層—負載均衡SLB,應用層—虛拟機ECS,資料層-資料庫RDS。阿裡雲産品基本都自帶有高可用屬性,這使得我們建構系統架構時節省了大量的成本和精力。

•面對高并發的雪崩效應,設定了限流,當系統通路流量壓力超出系統所能承受時,給使用者傳回排隊頁面或者讓客戶稍後重試,減輕背景系統的壓力,同僚錯開并發高峰。

•為了提升系統的安全性,采用阿裡雲高防IP來應對DDoS、CC攻擊

•針對龐大的背景資料統計,我們在日志紀錄上選擇了阿裡雲日志服務SLS ,首先確定了幾十台機器的并發日志寫入性能,其次,日志統一管理查詢,非常友善使用者後續問題排查和分析(SLS的資料可以直接轉移到 MaxCompute,是以後端用MaxCompute進行資料分析時,隻需要把資料丢進去計算即可)

老廟黃金通過引入彈性化的高可用解決方案,以1/10 的成本在2周内實作了數十萬并發的電商紅包系統,這不僅是一次搶紅包項目的實戰經驗,也為應對未來的電商高并發項目實戰打下了堅實的實戰基礎。

零售行業的市場和業務需求的變化是越來越迅速的。業務部門對于IT系統的支援提出了各種的要求,要求能夠快速響應,能夠快速适應業務需求的變化,能夠起到大并發,支援高并發、及時響應等。這也就意味着零售企業的傳統應用架構體系也發生了變化,最顯著的一個特點就是對雲原生技術的應用。2016年借助雲計算優勢屬性的新零售企業初嘗甜頭,同時也有更多的行業企業開始在雲上尋求業務革新的更多可能性。

快魚——釋出更新提速50倍,DevOops助力速度的“飛躍”

快魚服飾作為早期即上雲的傳統企業,更希望能都在技術的支撐下,率先一步完成對同行的超越,搶占市場先機。但是前期并不順利。雖然使用了阿裡雲高可用分布式解決方案EDAS,但是由于對阿裡雲系列産品使用的不熟悉以及上線前未做全面的需求調研和規劃,使得一次産品的釋出需要8~10小時,如若釋出失敗,資料復原還需要2小時,導緻了IT生産效率不高的情況。在快魚這一項目中,我們面臨了如下挑戰:

· IT團隊以研發為主,缺少專業監控運維體系

· 應用系統缺少高可用體系,無法滿足業務側快速疊代釋出,且不停機的需求。

· 開發,測試,運維體系缺少網際網路技術棧賦能實踐,無法進入靈活模式,配合效率低下

解決方案及架構

身經百戰雲服務,方成IT 技術大牛——雲服務項目實施内幕

整個項目實施按照重點的不同劃分成了四個階段:

· 第一階段---IT服務體系建設:建立了完善的IT服務體系,包括:監控預警、資料庫管理、網絡管理、安全管理、日常運維、應急預案6大服務體系。

· 第二階段---系統高可用改造:在EDAS中單個服務部署兩套以實作雙機高可用,增加了系統可靠性,加快了需求上線時間,減少了釋出更新過程中業務停機的時間。

· 第三階段---藍綠釋出改造:大大的縮短了由于釋出導緻的業務停機時間,而且做了釋出失敗後能進行分鐘級别的復原操作。

· 第四階段---DevOps體系搭建:綜合企業IT資源情況,結合雲上資源和線下機房資源形成一整套的服務平台,友善資源排程。基于靈活開發規範化了項目、人員、權限的管理,提升了整體業務需求更新疊代的速度。

為了提升資訊系統的開發,測試和釋出效率,我們為快魚引入DevOps解決方案,提升了部門整體的營運效率。從建構IT運維體系到完成EDAS應用高可用改造,不僅提高了釋出效率,而且通過建構包含CI/CD的 DevOps體系讓快魚的 IT 系統魚躍龍門,脫胎換骨,駛進雲上新零售快車道。

RightScale 在近期釋出的《2019年雲狀态報告》指出,在整個調研的企業對象中,94%的企業是選用了雲計算。零售行業率先借助雲計算的力量實作行業變革,開啟新零售時代,在科技的助推下一騎絕塵。物流、制造、金融和醫療等行業也在不斷探索,嘗試尋找通過雲計算來實作自己自身的數字化轉型的契機。

身經百戰雲服務,方成IT 技術大牛——雲服務項目實施内幕

以企業CIO和從企業IT決策人視角來看 ,未來的企業 IT 必将建構基于雲的管理體系,建構團隊應用雲的能力體系,以及快速擷取基于雲的全新技術棧。通過雲上資産API統一接入實作資訊彙聚,掌控資産動态。将雲平台事件與PaaS、Saas事件相融合,實作綜合分析處理。針對團隊及技術人員的統一協作管理,規範化角色權限和操作流程。建構基于雲的知識體系,提升技術人員的專業實力及綜合競争力,創造技術前瞻性引領創新思維。企業具備全面囊括監控、網絡、資料庫、大資料、DevOps、微服務、容器等完整技術棧能力将在IT上展現更大競争優勢。

應“雲”而生将成為越來越多企業的常态,面對高速前進的雲上技術,企業無論通過自身技術能力提升,還是通過選擇像駐雲一樣的合作夥伴,都應把握雲計算所帶來的最佳實踐契機,通過用上雲、用好雲、延伸雲讓技術助力企業實作更大的業務價值。

更多雲計算、大資料、實戰架構等優質、熱門内容,微信搜尋“拜托了王教授”公衆号添加關注擷取~

更有優質技術交流社群、技術大牛一對一接觸機會等衆多福利等你來撩~

繼續閱讀