天天看點

陳思淼:阿裡6個月重寫Lazada,再造“淘寶”的技術總結

2018 年 3 月,一則消息在朋友圈刷屏:阿裡巴巴元老彭蕾卸任螞蟻金服董事長,轉而擔任東南亞電商網站 Lazada 的 CEO,一時之間輿論紛紛。而在此之前,早在 2017 年 9 月,阿裡集團管理層決定,啟動 Voyager 項目,開始對 Lazada 的全系統改造,并且要在 2018 年 3 月底之前上線。時間如此緊急,在 6 個月内重造“淘寶”可能嗎?

第一次改造 Lazada 的嘗試

Lazada 在 2012 年創立于新加坡,業務很快擴充到馬來西亞,越南,印度尼西亞,菲律賓,泰國,新加坡六國,阿裡巴巴在 2016 年第一次投資 10 億美元,2017 年第二次追加投資,完成對 Lazada 的系列收購。

在阿裡接手之前,Lazada 一直是東南亞六國第一大電商,但是同時也面對非常激烈的市場競争。包括京東、騰訊都把目光投向了這裡,而亞馬遜也試圖在東南亞擴張。

從業務模式來看,過去 Lazada 更偏自營,更像亞馬遜,是一家零售公司而不是網際網路公司。Lazada 自建和倉儲,同時提供 FBL(Fulfilement By Lazada)服務給商家。Lazada CTO、Voyager 項目的負責人陳思淼告訴 InfoQ 記者,阿裡集團為了更好的支援 Lazada 業務,同時将阿裡在電商豐富經驗和營運方法論賦能到 Lazada,首先要做的事情是将 Lazada 的技術平台全面更新成阿裡的技術引擎。

說起來容易,做起來可是一點兒都不輕松。首當其沖的問題就是 Lazada 的原始系統存在的一系列問題。

陳思淼:阿裡6個月重寫Lazada,再造“淘寶”的技術總結

根據陳思淼的介紹,Lazada 的初創期隻有兩個系統:Alice- 負責前台展示,BOB- 負責商品,交易,優惠等背景邏輯。業務發展過程中,将交易和履約拆出來 OMS。BOB,Alice 和 OMS 是 PHP 寫的,一些新系統以 GO 為主。

當時的系統有這樣幾個問題:

1)系統架構不合理,沒有分布式和子產品化分層的思想,子產品和子產品間的代碼耦合很嚴重,改動牽一發動全身。

2)穩定性差,基本上每周都有 P1 故障。

3)大量的資料同步,系統間依賴不是通過接口依賴,而是通過資料拷貝同步的方式。

4)疊代慢,系統架構演進複雜,多地研發團隊,穩定性差等問題,導緻新需求的疊代速度很慢。

2016 年年中,阿裡首次接觸 Lazada 系統,陳思淼說:“當時以賦能為主,最初的方案,是将阿裡的商品系統輸出到 Lazada,也就是 ASC(Alibaba Seller Center)項目。”

但由于系統改造的基礎過于薄弱,正在業務價值展現上并不十分明顯,2017 年,阿裡巴巴和 Lazada 的管理層,決定通過阿裡的技術體系對 Lazada 的所有系統進行重構更新,由此 Voyager 項目正式啟動。

陳思淼介紹了整個項目的計劃:Voyager 項目一期,将無線端和搜尋鍊路替換成阿裡技術體系。Voyager 二期,将使用者,商品詳情,購物車,訂單,退款,履約等系統,全部重構,将資料遷移到新系統。

Voyager 項目

Voyager 項目是 2017 年 9 月底開始的,項目初期,阿裡巴巴集團 CTO 行癫下了三個決定,為 Voyager 項目定下基調,而這在陳思淼看來是成功的關鍵:

一是從淘寶,天貓, 業務平台,搜尋等各個阿裡集團内部 BU 抽調精兵強将,成立獨立的團隊來為 Delivery 負責;

二是割接方案一刀切,不考慮灰階釋出方案;

三是整體項目必須在 3 月 31 日前完成。

獨立團隊有了組織保障,割接方案一刀切節約了很多工作量,明确的時間點,所有團隊必須全力以赴,背水一戰。

項目分為兩期釋出,Voyager 一期無線端 12 月 15 号釋出,Voyager 二期全站重構,春節前割接一個國家,3 月 31 日前完成所有國家。從結果來看,項目執行得很完美,2018 年 3 月 24 号,最後一批國家:越南、印尼、菲律賓陸續割接到新系統。總用 Voyager 項目計劃必須在六個月的時間完成。

困難:時間緊,任務重,強度大,很複雜

陳思淼坦言,在執行過程中,遠不是一帆風順,确實遇到了很多比較棘手的問題:

首先,Voyager 項目覆寫了用戶端,搜尋,導購,電商中台,履約,端到端鍊路,在阿裡内部涉及到十幾個技術 BU 的協同和技術選型工作。

其次,項目啟動時間和天貓雙十一重疊,開發資源非常緊張,為了項目的成功,BU 技術老大們派出了盡可能多的精兵強将到這個項目裡,幾乎是從牙縫裡擠資源了。

除了 Voyager 的開發,還涉及到影響到的 Dependency 系統,包括支付(iPay)、安全、中間件、基礎設施、Lazada 研發系統(LEL,财務,CS,供應商系統),前後參與技術同學超過 300 人。

第三,項目周期長和強度大。項目橫跨國慶、新年和春節,100 多名從業人員,連續六個多月的 996 加班;其中有近 20 人需要連續三個多月在東南亞六國出差負責割接。

第四,項目上線過程複雜。每個國家單獨上線,情況各有不同,新的支付管道,多語言定制,資料遷移方案,UAT 測試,本地員工教育訓練等過程複雜,開發過程花了三個月,上線過程也花了三個多月。

第五,停機釋出過程複雜。首先步驟繁多,包含資料遷移,業務驗證,流量割接在内有 100 多個步驟。另外涉及老系統 200 多張表的資料,需要在一個小時左右的時間内遷移到新系統,并且在營運、測試團隊上百人、幾千個用例驗證通過後,才能決定是否将真實流量切換到新系統,複雜程度可見一斑。

磨合:Coding 是沒有國界的語言

除了技術上的難度,Voyager 項目可以說是 Lazada 原技術團隊與阿裡技術團隊合作的開創典範。面對着不同國籍、不同工作習慣以及生活習慣的外籍員工,如何快速磨合達成默契,以加快項目進展也是一個重要問題。

項目期間,先後超過 100 多名來自俄羅斯、泰國、越南等十幾個國籍的 Lazada 的工程師出差到杭州閉關。陳思淼評價說,參加項目的 Lazada 海外技術同學都能了解 Voyager 項目對 Lazada 的重要性,參與度挺不錯。

“首先要面對的問題就是交流語言問題。”陳思淼一開始認為,語言的障礙可能會造成一些溝通上的誤解和沖突,在業務交流上,會多付出許多精力。然而令人驚喜的是,在技術團隊協作的時候并沒有在語言層面遇到什麼問題,對此,陳思淼這樣說:“程式員之間,用代碼說話,而 coding 是沒有國界的。”

其次是兩個電商設計體系的沖突。為了讓 Lazada 技術團隊對阿裡更體系化分層、更清晰的設計理念和體系進行快速的學習和消化,阿裡技術團隊組織了許多教育訓練課程,并且在實際的工作場景中進行分享和指點,幫助 Lazada 的同學一步步融入、了解,所幸大部分同學都比較好的了解和接受新的體系。

三是工作習慣和工作時長。陳思淼說,海外的同學,原本習慣于按照 Ticket 來做事情,寫代碼前,需要有明确的 Ticket 和設計文檔的,Lazada 團隊對于加班也不太适應,但在整體杭州聯合開發基地的熱火朝天創業氛圍的激勵下,原本不适應的許多同學也逐漸融入和大團隊,為 Voyager 項目貢獻力量。

成功:“中國速度”帶來最終成功

陳思淼認為,項目能成功,一方面是由于阿裡集團高層的重視和支援,有了組織和資源的保障;二是因為阿裡技術同學的技術深度,領域專業度,連續作戰能力、奉獻精神起了很主要的作用。

他告訴 InfoQ:“項目剛開始,很多 Lazada 的同學認為,我們做了六年的系統,你們不可能六個月被全部重寫掉的。但也令許多人覺得難以置信的是,技術方案階段,開發階段,測試階段,UAT 階段,割接上線階段,每個階段都很多同學連續奮戰到 12 點甚至一兩點才下班,三次割接,加上演練有七八次通宵,很多同學就幹脆睡在公司。雖然累,但是大家都向着同一個目标,努力奮進的感覺太棒了。” Lazada 的同學都驚歎這是“中國速度”,态度由最初的懷疑,逐漸變成了相信。

陳思淼還補充了這樣一個細節:“在新加坡割接過程中,一個 Lazada 同學來問我:你們阿裡同學在杭州,是不是有兩班倒呀?不然怎麼我晚上下班前提的 BUG,第二天早上來,就神奇的修好了。正是由于這樣的不怕苦,不怕累,堅決拿到結果的 Voyager 精神,才能将不可能變成可能,打赢這一仗。”

6 個月之後的“成績單”

經過阿裡技術團隊的改造,Lazada 網站系統迎來了徹底的重新整理與更新,和老系統相比,新系統的設計分為 17 個電商核心域,包括會員,商品,交易,營銷等,29 個核心子產品,包括無線,前端,後端三大部分。

系統後端子產品包含在七個核心系統中,既降低系統複雜度,将來子產品單獨拆分也比較容易。此外,從 IDC、中間件、監控運維、業務系統都使用阿裡巴巴中台技術事業群的解決方案,節約了很多的時間成本。阿裡電商平台技術經過多年發展,業務複雜度、系統容量、開發效率上,可以說是全世界領先。這套技術體系結合海外電商市場,能很容易産生化學反應。

陳思淼認為,從結果來看,Voyager 項目還是相當成功的,新的 APP,包括新個性化首頁和新搜尋在 12 月份上線,新的電商平台,趕在新加坡春節前的 2 月 10 号成功割接,第二批泰國、馬來西亞的平台在 3 月 4 号成功割接;最後一批的三個國家在 3 月 24 号成功割接。

“項目上線後穩定性和性能,有了很大的提升。”陳思淼說道,“同時 Lazada 的 Birthday 年度大促,也在四月份成功舉行,DAU 和 GMV 都取得了 200% 增長的曆史性的新高。”

三月中旬,Lucy 彭蕾就任 Lazada CEO,阿裡巴巴進一步為 Lazada 帶來了業務和技術的全面賦能。

新的 Lazada,一方面在自營,正品,物流等已有的優勢上繼續加強。另一方面,阿裡将自己非常擅長的:淘寶的 C2C 模式、天貓的品牌直營的業務模式,引入到 Lazada,形成了全新的戰略。

從技術角度來看,新的技術平台打下了堅實的地基,開發效率提升很大。陳思淼告訴 InfoQ,未來的三個月,每個月都有重大的釋出和更新:在無線端,新 APP 性能達到秒開,個性化首頁,新搜尋算法;在賣家端,新的櫥窗推薦,Voucher 優惠券,詳情裝修,客服 IM 工具,旺鋪等賣家工具,讓更多賣家參與營運;在平台端,強大的選品和活動搭建能力,A+ 的資料統計平台,智能化 Push 平台。陳思淼說,這些産品和工具,都是過去六個月的時間裡,在 Voyager 項目中疊代開發出來的。

阿裡巴巴中台戰略是成敗關鍵

2015 年,阿裡集團董事局主席馬雲參觀了芬蘭的 SuperCell 後,在阿裡集團提出大中台,小前台戰略,也成立了集團 CTO 牽頭的中台技術事業群。

陳思淼說:“從 Lazada 重構的案例來看,這麼短的時間,幾十個系統的的重寫和資料遷移,如果沒有中台技術事業群的支援,是不可能成功的,從側面也證明了:中台戰略,是新業務、尤其國際化業務成功的關鍵。”

所謂的中台技術,就是從 IDC,網絡,機房,作業系統,中間件,資料庫,算法平台,資料平台,計算平台,到業務平台,每一層都有清晰的定義和技術産品。

具體來看,首先,集團技術的分層和每層的産品化輸出起了關鍵作用。

比如在 Voyager 項目中,資料工程師将 Lazada 的所有資料,全量導入計算平台 ODPS 中,并且計算出通用的中間表和分區表,供項目中搜尋索引建構,資料遷移,BI 報表等多個子項目使用,極大節約了時間成本。

DBA 和開發工程師使用資料庫工具 iDB,可視化查詢、管理、運維 Lazada 原有 DB 叢集。業務平台的 TMF 和星環架構,可以将業務定制和平台邏輯分層,極大提高了開發效率。比如項目管理工具 Aone,新加坡,曼谷 UAT 過程中,上百名參與者,每天幾百個 BUG,業務同學送出到 Aone,配置設定到杭州上百名工程師進行回複、修改、問題解決,有條不紊。

其次,在 Lazada 項目中,大量的集團技術産品也進行了出海和國際化部署方案,比如活動搭建平台斑馬,推薦系統 TPP,搜尋平台 HA3,無線接入層 AServer 和 MTOP,中間件和運維支撐平台,監控系統 Sunfire 等,對于 Lazada 業務來說,站在巨人的肩膀上,不需要重新發明輪子,就能複用這些巨大的技術紅利。

東南亞是一個難得的機會

經過這次的項目,陳思淼對于東南亞網際網路的發展情況有了長足的了解。在他看來,東南亞是下一個網際網路的熱土,他告訴我們,有這樣的看法是基于幾個重要的因素:

首先,東南亞擁有 6.3 億的人口,其中 70% 都是年輕人。比如在越南胡志明市,整個城市就像一個大工地,每天都有新的變化,有許多的建築從無到有,滿街的人流和摩托,就像國内改革開放初期,發展快,變化快,給人生機盎然的感覺。另一方面,他也看到,當地的基礎設施的發展和當地的經濟發展不夠比對,許多年輕人到了周末和晚上都是蹲在街邊喝啤酒聊天,有大量的人口紅利和時間紅利去搶占。

第二,東南亞六國的經濟增長提速,比如越南連續十幾年的 7% 的增長,菲律賓,馬來,印尼也有 5% 的增長速度。

第三,國家一帶一路的政策的輻射,和東南亞各國關系的改善。

第四,由于 4G 網絡的成熟,小米,OPPO 等 Android 機的滲透,移動網際網路的人口紅利。

這四點重要的因素給項目的發展提供了沃土。除此之外,陳思淼也發現,東南亞的網際網路競争也是非常激烈的,特别是在電商領域。

Lazada 在東南亞擁有非常好的品牌認知度和市場占有率,但同時也面對 Shopee,Tokopedia 的激烈挑戰。東南亞的電商也非常複雜,六個國家,多種語言,不同的宗教派别,必須進行本地化和差異化的營運政策,才有可能符合當地消費者的需求。電商基礎設定,比如線上支付,在東南亞普及度不夠,COD(電子支付)交易還是占主流,類似線下 7-11、ATM 轉賬還占很大比例,很多銀行甚至都沒有 H5 支付頁面。同時,物流情況也有些落後,印尼,菲律賓等島國的物流情況比較複雜,Lazada 自己建倉和配送體系,也是為了給消費者提供更好的體驗。

陳思淼說,國際化和新零售,是阿裡目前最重要的兩個戰略方向。Lazada 是阿裡第一個總部不在中國的業務單元。他透露:“研發中心的分布,除了杭州,我們會在深圳建立 Lazada 的全球研發總部,以支援到 Lazada 業務,以及未來的海外國家,地點在深圳灣後海的阿裡中心,未來一年達到超過 200 人的規模。”

對于 Lazada 未來的發展,陳思淼有着絕對的信心,因為,而這份自信是建立在實力的基礎之上的。

從業務上來看,Lazada 集合了 Retail 自營模式,Brand 品牌直營模式,Marketplace 的 C2C 模式,以及中國賣到東南亞六國 Crossboarder 跨境模式,業務模式和國家差異系的複雜度,比起淘寶天貓來,挑戰更大。

從集團重視程度來看,前支付寶董事長 Lucy 彭蕾親自擔任 Lazada CEO,阿裡集團繼續投資 20 億美元,在人才投入更是不惜代價。

從增長空間來看,東南亞的人口接近中國的一半, Lazada 還有幾十倍的成長空間。

從團隊來看,Lazada 深圳技術團隊的骨幹,是阿裡各個團隊抽調的精英,和阿裡技術一脈相承。

從國際化來看,國際化的視野、團隊、英文環境的鍛煉,很多同學在項目過程中,英語交流能力進步非常快。

阿裡近期全資收購了南亞第一大電商 Daraz,覆寫巴基斯坦等五個國家,也會采用 Voyager 的技術體系對 Daraz 進行整站整合。陳思淼說:“我們支援的國家将會從六個,覆寫到東南亞 + 南亞的十一個國家。”

作者介紹:

陳思淼,花名雲動,2008 年加入淘寶,先後在淘寶技術部,共享事業部擔任進階技術專家,商家事業部技術負責人,目前擔任 Lazada CTO。2019年7月12日,陳思淼将在深圳 ArchSummit 全球架構師峰會上發表演講,介紹Lazada改造過程中遇到的問題以及思考。此外,還有來自 Apple、Google、Netflix、阿裡、騰訊的講師,分享包含大資料、人工智能、混沌工程等話題演講。

原文釋出時間為:2019-04-03

本文作者:陳思淼

本文來自雲栖社群合作夥伴“

ArchSummit

”,了解相關資訊可以關注“

”。