天天看點

資料規模惱同程,混合雲飄來除雜症

10月13日2016杭州雲栖大會拉開帷幕,電商專場的同程旅遊首席架構師王曉波帶來了“同程帶您雲端翺翔”的重要演講。本次分享對同程旅遊進行了簡要介紹,接着分享了同程旅遊的資料驅動曆程,最後着重講述了在雲端時代的同程旅遊,包括公有雲和私有雲的混合打通等。精彩不容錯過——

以下内容根據演講ppt及現場分享整理:

線上旅遊更多的考慮怎樣讓使用者滿意。本文通過三個方面和大家分享同程旅遊如何用資料驅動實作業務創新和業務快速發展的,首先對同程旅遊進行了簡要介紹,接着分享了同程旅遊的資料驅動曆程,最後着重講述了在雲端時代的同程旅遊,包括公有雲和私有雲的混合打通等。

以下為精彩内容整理:

發現旅遊之美

旅遊是件很美的事情,怎樣保證使用者找到的是旅遊佳地呢?同程旅遊就是為了讓使用者更好的去旅遊,其在中國景點門票預訂市場和郵輪領域處于領先位置,并積極布局境外遊、國内遊、周邊遊等業務闆塊。同程旅遊旗下營運同程旅遊網(www.ly.com)和同程旅遊手機用戶端, 2016年服務人次将達到3.5億,年均增長300%,讓更多人享受旅遊的樂趣是同程旅遊的使命。

資料驅動的同程旅遊

<b>初期時代</b><b></b>

初期時代同程的資料驅動更多的關注網站被搜尋引擎輸入的情況、收錄排名、關鍵詞、現金流和流量轉化。此時的網站很小,基于小資料做了一些基礎服務,通路統計,使用關系資料庫bi,且伺服器托管。

<b>移動時代</b><b></b>

移動時代同程的app開始推廣,2014年下載下傳量已達2億,此時同程的資料驅動開始考慮到下載下傳量、激活情況、每天線上使用同程旅遊的使用者數量、每天的新使用者數量、複購率以及留存率等。此時的商品也更加多樣化,有高頻和低頻商品之分,怎樣讓高頻轉向低頻去消費和怎麼讓低頻又傳回到高頻消費是我們要去分析的,我們采用了開源大資料架構,基礎設施從幾台變成幾千台伺服器,開始建設自己的私有雲平台。

<b>資料時代</b><b></b>

資料時代同程做到線上線下的融合,建設了公有雲+私有雲的平台,同程的資料驅動更多的關注門店、高潛使用者、旅遊顧問等,旅遊顧問就是大資料+人的線下推廣。現在,同程是一家架在網際網路上的“旅行社”,更多的是用資料去驅動整個業務的發展。

此外,資料驅動了使用者畫像,同程的使用者畫像是根據時間、人物以及目前情況定制的使用者畫像;資料也驅動了産品的選品,訂單的預測;資料還驅動了安全風控、防黃牛黨、研發運維,用技術驅動技術,由被動轉主動,用資料告訴大家什麼才是好的,解決在業務型網際網路公司技術的驅動率。

同程資料驅動背後的資料規模也很龐大,有5000+伺服器,2w+容器,應用3000多個,pv20億左右,日均報錯3w多,其中60%通過大資料應用平台自愈,日均攔截惡意通路也有10w+。

同程旅遊雲端時代

<b>解決基礎問題</b><b></b>

十年前,同程隻是一個簡單的網站架構,性能瓶頸頻發,沒有任何運維,更别提伸縮性了。

資料規模惱同程,混合雲飄來除雜症

但是現在,同程已經不再簡單,各種應用增加3000多個,每天數億級的請求量,原來很簡單的一句sql,現在已經沒法用了,伺服器也已經加到無法再加,運維也是問題百出。系統越來越複雜,基礎設施難度越來越大。

從小系統到大系統長大是一個必須經曆的過程,于是,我們做出了改變。

應用系統有很多,業務發展也很快,我們進行了分層處理。先解決基礎問題,我們需要一個雲解決基礎設施的困難,需要一些一流水準的中間件,需要一個經驗豐富的運維團隊;再解決業務問題,将業務微服務化,将資料庫變成資料平台,将原完全.net向多語言發展,建立技術體系。

<b>環境</b>

資料規模惱同程,混合雲飄來除雜症

我們部署了大量的docker容器、輕量化的kvm,同時還有直接實體的部署(在私雲中有部分部署不需要虛拟化會更好;我們的負載區伺服器和大部分的資料庫)。

<b>緩存</b>

資料規模惱同程,混合雲飄來除雜症

我們在緩存上也做出了改變,多個小叢集+單節點組成一個雲,以場景劃分叢集,實時平衡排程資料,動态擴容縮容。

<b>資料庫</b>

資料規模惱同程,混合雲飄來除雜症

資料庫是海量流量系統平台核心命門之一,資料庫的熱備機比較多但一些非核心庫通路量很低。

<b>運維</b>

資料規模惱同程,混合雲飄來除雜症

雖然做了很大的改變,但問題依然存在。基礎成功雲化後提供了基礎雲服務但說到實處也不過提供一堆可部署應用的機器;應用系統的擴充,速度開發,重用性等等也有很多問題;應用系統的故障依然很大。此外,還有彈性擴容的問題,以及新技術(語音識别)的支撐問題。

<b>用雲來支撐整個技術基礎體系</b><b></b>

公有雲是創新驅動首選,我們使用了阿裡雲等雲服務,實作了快速擴容,基礎産品豐富可靠,安全也有了保障。

資料規模惱同程,混合雲飄來除雜症

我們對公有雲和私雲進行全面打通,讓我們的基礎設施能夠涵蓋到私有和公有。我們在阿裡雲上部署了12個機器人,他們每天會向系統回報做了什麼。