天天看點

以電商網站為例,談大型分布式架構設計與優化

本文大綱:

1. 使用電商案例的原因

2. 電商網站需求

3. 網站初級架構

4. 系統容量估算

5. 網站架構分析

6. 網站架構優化

本文主題為電商網站架構案例,将介紹如何從電商網站的需求,到單機架構,逐漸演變為常用的、可供參考的分布式架構原型。除具備功能需求外,還具備一定的高性能、高可用、可伸縮、可擴充等非功能品質需求(架構目标)。

根據實際需要,進行改造、擴充、支援千萬PV,是沒問題的。

使用電商案例的原因

分布式大型網站,目前看主要有幾類:

大型門戶(比如網易、新浪等);

SNS網站(比如校内、開心網等);

電商網站(比如阿裡巴巴、京東商城、國美線上、汽車之家等)。

大型門戶一般是新聞類資訊,可以使用CDN、靜态化等方式優化。而開心網等互動性比較多,可能會引入更多的NoSQL、分布式緩存、使用高性能的通信架構等。電商網站具備以上兩類的特點,比如産品詳情可以采用CDN,靜态化,互動性高的需要采用NoSQL等技術。是以,我們采用電商網站作為案例,進行分析。

電商網站需求

客戶需求:

建立一個全品類的電子商務網站(B2C),使用者可以線上購買商品,可以線上支付,也可以貨到付款;

使用者購買時可以線上與客服溝通;

使用者收到商品後,可以給商品打分和評價;

目前有成熟的進銷存系統,需要與網站對接;

希望能夠支援3~5年,業務的發展;

預計3~5年使用者數達到1000萬;

定期舉辦雙11、雙12、三八男人節等活動;

其他的功能參考京東或國美線上等網站。

客戶就是客戶,不會告訴你具體要什麼,隻會告訴你他想要什麼,我們很多時候要引導、挖掘客戶的需求。好在提供了明确的參考網站。是以,下一步要進行大量的分析,結合行業以及參考網站,給客戶提供方案。其它的這裡暫不展開。

需求功能矩陣

需求管理傳統的做法,會使用例圖或子產品圖(需求清單)進行需求的描述。這樣做常常忽視掉一個很重要的需求(非功能需求),是以推薦大家使用需求功能矩陣,進行需求描述。

本電商網站的需求矩陣如下:

以上是對電商網站需求的簡單舉例,目的是說明:

需求分析的時候,要全面,大型分布式系統重點考慮非功能需求;

描述一個簡單的電商需求場景,使大家對下一步的分析設計有個依據。

網站初級架構

一般網站剛開始的做法,是三台伺服器,一台部署應用,一台部署資料庫,一台部署NFS檔案系統。

這是前幾年比較傳統的做法,之前見到一個網站10萬多會員,垂直服裝設計門戶,N多圖檔。使用了一台伺服器部署了應用,資料庫以及圖檔存儲。出現了很多性能問題。如下圖:

以電商網站為例,談大型分布式架構設計與優化

但是,目前主流的網站架構已經發生了翻天覆地的變化。一般都會采用叢集的方式,進行高可用設計。至少是下面這個樣子:

以電商網站為例,談大型分布式架構設計與優化

使用叢集對應用伺服器進行備援,實作高可用(負載均衡裝置可與應用一塊部署);

使用資料庫主備模式,實作資料備份和高可用。

系統容量預估

預估步驟:

注冊使用者數-日均UV量-每日的PV量-每天的并發量;

峰值預估:平常量的2~3倍;

根據并發量(并發,事務數),存儲容量計算系統容量。

客戶需求:3~5年使用者數達到1000萬注冊使用者;

每秒并發數預估:

每天的UV為200萬(二八原則);

每日每天點選浏覽30次;

PV量:200*30=6000萬;

集中通路量:24*0.2=4.8小時會有6000萬*0.8=4800萬(二八原則);

每分并發量:4.8*60=288分鐘,每分鐘通路4800/288=16.7萬(約等于);

每秒并發量:16.7萬/60=2780(約等于);

假設:高峰期為平常值的三倍,則每秒的并發數可以達到8340次;

1毫秒=1.3次通路。

沒好好學數學後悔了吧?!(不知道以上算是否有錯誤,呵呵~~)

伺服器預估(以Tomcat伺服器舉例):

按一台Web伺服器,支援每秒300個并發計算。平常需要10台伺服器(約等于);[Tomcat預設配置是150]

高峰期:需要30台伺服器;

容量預估:70/90原則

系統CPU一般維持在70%左右的水準,高峰期達到90%的水準,是不浪費資源,并比較穩定的。記憶體,IO類似。

以上預估僅供參考,因為伺服器配置,業務邏輯複雜度等都有影響。在此CPU、硬碟、網絡等不再進行評估。

網站架構分析

根據以上預估,有幾個問題:

需要部署大量的伺服器,高峰期計算,可能要部署30台Web伺服器。并且這三十台伺服器,隻有秒殺,活動時才會用到,存在大量的浪費。

所有的應用部署在同一台伺服器,應用之間耦合嚴重。需要進行垂直切分和水準切分。

大量應用存在備援代碼。

伺服器Session同步耗費大量記憶體和網絡帶寬。

資料需要頻繁通路資料庫,資料庫通路壓力巨大。

大型網站一般需要做以下架構優化(優化是架構設計時,就要考慮的,一般從架構/代碼級别解決,調優主要是簡單參數的調整,比如JVM調優;如果調優涉及大量代碼改造,就不是調優了,屬于重構):

業務拆分

應用叢集部署(分布式部署,叢集部署和負載均衡)

多級緩存

單點登入(分布式Session)

資料庫叢集(讀寫分離,分庫分表)

服務化

消息隊列

其它技術

網站架構優化

1業務拆分

根據業務屬性進行垂直切分,劃分為産品子系統、購物子系統、支付子系統、評論子系統、客服子系統、接口子系統(對接如進銷存、短信等外部系統)。

根據業務子系統進行等級定義,可分為核心系統和非核心系統。

核心系統:産品子系統、購物子系統、支付子系統;

非核心:評論子系統、客服子系統、接口子系統。

業務拆分作用:提升為子系統可由專門的團隊和部門負責,專業的人做專業的事,解決子產品之間耦合以及擴充性問題;每個子系統單獨部署,避免集中部署導緻一個應用挂了,全部應用不可用的問題。

等級定義作用:用于流量突發時,對關鍵應用進行保護,實作優雅降級;保護關鍵應用不受到影響。

拆分後的架構圖:

參考部署方案2

如上圖每個應用單獨部署

核心系統和非核心系統組合部署

2應用叢集部署(分布式,叢集,負載均衡)

分布式部署:将業務拆分後的應用單獨部署,應用直接通過RPC進行遠端通信;

叢集部署:電商網站的高可用要求,每個應用至少部署兩台伺服器進行叢集部署;

負載均衡:高可用系統必須的,一般應用通過負載均衡實作高可用,分布式服務通過内置的負載均衡實作高可用,關系型資料庫通過主備方式實作高可用。

叢集部署後架構圖:

3多級緩存

緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式,進行緩存的設計。一級緩存為本地緩存,二級緩存為分布式緩存。(還有頁面緩存,片段緩存等,那是更細粒度的劃分)

一級緩存,緩存資料字典,和常用熱點資料等基本不可變/有規則變化的資訊;二級緩存緩存需要的所有緩存。當一級緩存過期或不可用時,通路二級緩存的資料。如果二級緩存也沒有,則通路資料庫。

緩存的比例,一般1:4,即可考慮使用緩存。(理論上是1:2即可)。

根據業務特性可使用以下緩存過期政策:

緩存自動過期

緩存觸發過期

4單點登入(分布式Session)

系統分割為多個子系統,獨立部署後,不可避免地會遇到會話管理的問題。一般可采用Session同步,Cookies,分布式Session方式。電商網站一般采用分布式Session實作。

再進一步可以根據分布式Session,建立完善的單點登入或賬戶管理系統。

流程說明:

使用者第一次登入時,将會話資訊(使用者Id和使用者資訊),比如以使用者ID為Key,寫入分布式Session;

使用者再次登入時,擷取分布式Session,是否有會話資訊,如果沒有則調到登入頁;

一般采用Cache中間件實作,建議使用Redis,是以它有持久化功能,友善分布式Session當機後,可以從持久化存儲中加載會話資訊;

存入會話時,可以設定會話保持的時間,比如15分鐘,超過後自動逾時;

結合Cache中間件,實作的分布式Session,可以很好的模拟Session會話。

5資料庫叢集(讀寫分離,分庫分表)

大型網站需要存儲海量的資料,為達到海量資料存儲,高可用,高性能一般采用備援的方式進行系統設計。一般有兩種方式讀寫分離和分庫分表。

讀寫分離:一般解決讀比例遠大于寫比例的場景,可采用一主一備,一主多備或多主多備方式。

本案例在業務拆分的基礎上,結合分庫分表和讀寫分離。如下圖:

業務拆分後:每個子系統需要單獨的庫;

如果單獨的庫太大,可以根據業務特性,進行再次分庫,比如商品分類庫,産品庫;

分庫後,如果表中有資料量很大的,則進行分表,一般可以按照ID,時間等進行分表;(進階的用法是一緻性Hash);

在分庫,分表的基礎上,進行讀寫分離。

相關中間件可參考Cobar(阿裡,目前已不在維護),TDDL(阿裡),Atlas(奇虎360),MyCat(在Cobar基礎上,國内很多牛人,号稱國内第一開源項目)。

6服務化

将多個子系統公用的功能/子產品,進行抽取,作為公用服務使用。比如本案例的會員子系統就可以抽取為公用的服務。

以電商網站為例,談大型分布式架構設計與優化

7消息隊列

消息隊列可以解決子系統/子產品之間的耦合,實作異步,高可用,高性能的系統,是分布式系統的标準配置。本案例中,消息隊列主要應用在購物,配送環節。

使用者下單後,寫入消息隊列,後直接傳回用戶端;

庫存子系統:讀取消息隊列資訊,完成減庫存;

配送子系統:讀取消息隊列資訊,進行配送。

以電商網站為例,談大型分布式架構設計與優化

目前使用較多的MQ有Active MQ、Rabbit MQ、Zero MQ、MS MQ等,需要根據具體的業務場景進行選擇。建議可以研究下RabbitMQ。

更多詳情可參考社群過往文章:

8其它架構(技術)

除了以上介紹的業務拆分、應用叢集、多級緩存、單點登入、資料庫叢集、服務化、消息隊列外。還有CDN、反向代理、分布式檔案系統、大資料處理等系統。

此處不詳細介紹,大家可以問度娘/Google,有機會的話也可以分享給大家。

總結

以電商網站為例,談大型分布式架構設計與優化

以上是本次分享的架構總結,細節可參考前面分享的内容。其中還有很多可以優化和細化的地方,因為是案例分享,主要針對重要部分做了介紹,工作中需要大家根據具體的業務場景進行架構設計。希望能對大家有所啟發。

轉:

 http://mp.weixin.qq.com/s/xc2L7hqxBaOwnSAXw_kUjw