本文是學習大型分布式網站架構的技術總結。對架構一個高性能、高可用、可伸縮及可擴充的分布式網站進行了概要性描述，并給出一個架構參考。文中一部分為讀書筆記，一部分是個人經驗總結，對大型分布式網站架構有較好的參考價值。
一張圖說明電商架構
大型電商網站架構案例
1、電商案例的原因
分布式大型網站，目前看主要有幾類：
大型門戶，比如網易，新浪等；
SNS網站，比如校内，開心網等；
電商網站，比如阿裡巴巴，京東商城，國美線上，汽車之家等。
大型門戶一般是新聞類資訊，可以使用CDN，靜态化等方式優化，開心網等互動性比較多，可能會引入更多的NoSQL，分布式緩存，使用高性能的通信架構等。電商網站具備以上兩類的特點，比如産品詳情可以采用CDN，靜态化，互動性高的需要采用NoSQL等技術。是以，我們采用電商網站作為案例，進行分析。
2、電商網站需求
客戶需求：
建立一個全品類的電子商務網站（B2C），使用者可以線上購買商品，可以線上支付，也可以貨到付款；
使用者購買時可以線上與客服溝通；
使用者收到商品後，可以給商品打分，評價；
目前有成熟的進銷存系統；需要與商城系統平台對接；
希望能夠支援3~5年，業務的發展；
預計3~5年使用者數達到1000萬；
定期舉辦雙11、雙12、三八男人節等活動；
其他的功能參考京東或國美線上等網站。
客戶就是客戶，不會告訴你具體要什麼，隻會告訴你他想要什麼，我們很多時候要引導，挖掘客戶的需求。好在提供了明确的參考網站。是以，下一步要進行大量的分析，結合行業，以及參考網站，給客戶提供方案。需求功能矩陣需求管理傳統的做法，會使用用例圖或子產品圖（需求清單）進行需求的描述。這樣做常常忽視掉一個很重要的需求（非功能需求），是以推薦大家使用需求功能矩陣，進行需求描述。本電商網站的需求矩陣如下：
3、網站初級架構
一般網站，剛開始的做法，是三台伺服器，一台部署應用，一台部署資料庫，一台部署NFS檔案系統。
這是前幾年比較傳統的做法，之前見到一個網站10萬多會員，垂直服裝設計門戶，N多圖檔。使用了一台伺服器部署了應用，資料庫以及圖檔存儲。出現了很多性能問題。
如下圖：
但是，目前主流的網站架構已經發生了翻天覆地的變化。一般都會采用叢集的方式，進行高可用設計。至少是下面這個樣子：
使用叢集對應用伺服器進行備援，實作高可用；（負載均衡裝置可與應用一塊部署）；
使用資料庫主備模式，實作資料備份和高可用；
4、系統容量預估
預估步驟：
注冊使用者數-日均UV量-每日的PV量-每天的并發量；
峰值預估：平常量的2~3倍；
根據并發量（并發，事務數），存儲容量計算系統容量。
根據客戶需求：3~5年使用者數達到1000萬注冊使用者，可以做每秒并發數預估：
每天的UV為200萬（二八原則）；
每日每天點選浏覽30次；
PV量：200*30=6000萬；
集中通路量：240.2=4.8小時會有6000萬0.8=4800萬（二八原則）；
每分并發量：4.8*60=288分鐘，每分鐘通路4800/288=16.7萬（約等于）；
每秒并發量：16.7萬/60=2780（約等于）；
假設：高峰期為平常值的三倍，則每秒的并發數可以達到8340次。
1毫秒=1.3次通路；
沒好好學數學後悔了吧？！（不知道以上算是否有錯誤，呵呵~~） 伺服器預估：（以tomcat伺服器舉例） 按一台web伺服器，支援每秒300個并發計算。平常需要10台伺服器（約等于）；[tomcat預設配置是150]，高峰期需要30台伺服器；容量預估：70/90原則 系統CPU一般維持在70%左右的水準，高峰期達到90%的水準，是不浪費資源，并比較穩定的。記憶體，IO類似。以上預估僅供參考，因為伺服器配置，業務邏輯複雜度等都有影響。在此CPU，硬碟，網絡等不再進行評估。5、網站架構分析 根據以上預估，有幾個問題：
需要部署大量的伺服器，高峰期計算，可能要部署30台Web伺服器。并且這三十台伺服器，隻有秒殺，活動時才會用到，存在大量的浪費。
所有的應用部署在同一台伺服器，應用之間耦合嚴重。需要進行垂直切分和水準切分。
大量應用存在備援代碼
伺服器Session同步耗費大量記憶體和網絡帶寬，資料需要頻繁通路資料庫，資料庫通路壓力巨大。
大型網站一般需要做以下架構優化（優化是架構設計時，就要考慮的，一般從架構/代碼級别解決，調優主要是簡單參數的調整，比如JVM調優；如果調優涉及大量代碼改造，就不是調優了，屬于重構）：
業務拆分；
應用叢集部署（分布式部署，叢集部署和負載均衡）；
多級緩存；
單點登入（分布式Session）；
資料庫叢集（讀寫分離，分庫分表）；
服務化；
消息隊列；
其他技術；
6、網站架構優化
6.1業務拆分
根據業務屬性進行垂直切分，劃分為産品子系統，購物子系統，支付子系統，評論子系統，客服子系統，接口子系統（對接如進銷存，短信等外部系統）。根據業務子系統進行等級定義，可分為核心系統和非核心系統。核心系統：産品子系統，購物子系統，支付子系統；非核心：評論子系統，客服子系統，接口子系統。
業務拆分作用：提升為子系統可由專門的團隊和部門負責，專業的人做專業的事，解決子產品之間耦合以及擴充性問題；每個子系統單獨部署，避免集中部署導緻一個應用挂了，全部應用不可用的問題。
等級定義作用：用于流量突發時，對關鍵應用進行保護，實作優雅降級；保護關鍵應用不受到影響。
拆分後的架構圖：
參考部署方案2
如上圖每個應用單獨部署，核心系統和非核心系統組合部署
6.2應用叢集部署（分布式，叢集，負載均衡）
分布式部署：将業務拆分後的應用單獨部署，應用直接通過RPC進行遠端通信；
叢集部署：電商網站的高可用要求，每個應用至少部署兩台伺服器進行叢集部署；
負載均衡：是高可用系統必須的，一般應用通過負載均衡實作高可用，分布式服務通過内置的負載均衡實作高可用，關系型資料庫通過主備方式實作高可用。
叢集部署後架構圖：
6.3 多級緩存
緩存按照存放的位置一般可分為兩類本地緩存和分布式緩存。本案例采用二級緩存的方式，進行緩存的設計。一級緩存為本地緩存，二級緩存為分布式緩存。（還有頁面緩存，片段緩存等，那是更細粒度的劃分） 一級緩存，緩存資料字典，和常用熱點資料等基本不可變/有規則變化的資訊，二級緩存緩存需要的所有緩存。當一級緩存過期或不可用時，通路二級緩存的資料。如果二級緩存也沒有，則通路資料庫。緩存的比例，一般1:4，即可考慮使用緩存。（理論上是1:2即可）。
根據業務特性可使用以下緩存過期政策：
緩存自動過期；
緩存觸發過期；
6.4單點登入（分布式Session）
系統分割為多個子系統，獨立部署後，不可避免的會遇到會話管理的問題。一般可采用Session同步，Cookies，分布式Session方式。電商網站一般采用分布式Session實作。再進一步可以根據分布式Session，建立完善的單點登入或賬戶管理系統。
流程說明
使用者第一次登入時，将會話資訊（使用者Id和使用者資訊），比如以使用者Id為Key，寫入分布式Session；
使用者再次登入時，擷取分布式Session，是否有會話資訊，如果沒有則調到登入頁；
一般采用Cache中間件實作，建議使用Redis，是以它有持久化功能，友善分布式Session當機後，可以從持久化存儲中加載會話資訊；
存入會話時，可以設定會話保持的時間，比如15分鐘，超過後自動逾時；
結合Cache中間件，實作的分布式Session，可以很好的模拟Session會話。
6.5資料庫叢集（讀寫分離，分庫分表）
大型網站需要存儲海量的資料，為達到海量資料存儲，高可用，高性能一般采用備援的方式進行系統設計。一般有兩種方式讀寫分離和分庫分表。讀寫分離：一般解決讀比例遠大于寫比例的場景，可采用一主一備，一主多備或多主多備方式。本案例在業務拆分的基礎上，結合分庫分表和讀寫分離。如下圖：
業務拆分後：每個子系統需要單獨的庫；
如果單獨的庫太大，可以根據業務特性，進行再次分庫，比如商品分類庫，産品庫；
分庫後，如果表中有資料量很大的，則進行分表，一般可以按照Id，時間等進行分表；（進階的用法是一緻性Hash）
在分庫、分表的基礎上，進行讀寫分離；
相關中間件可參考Cobar（阿裡，目前已不在維護），TDDL（阿裡），Atlas（奇虎360），MyCat。分庫分表後序列的問題，JOIN，事務的問題，會在分庫分表主題分享中，介紹。
6.6服務化
将多個子系統公用的功能/子產品，進行抽取，作為公用服務使用。比如本案例的會員子系統就可以抽取為公用的服務。
6.7消息隊列
消息隊列可以解決子系統/子產品之間的耦合，實作異步，高可用，高性能的系統。是分布式系統的标準配置。本案例中，消息隊列主要應用在購物，配送環節。
使用者下單後，寫入消息隊列，後直接傳回用戶端；
庫存子系統：讀取消息隊列資訊，完成減庫存；
配送子系統：讀取消息隊列資訊，進行配送；
目前使用較多的MQ有Active MQ、Rabbit MQ、Zero MQ、MS MQ等，需要根據具體的業務場景進行選擇。建議可以研究下Rabbit MQ。
6.8其他架構（技術）
除了以上介紹的業務拆分，應用叢集，多級緩存，單點登入，資料庫叢集，服務化，消息隊列外。還有CDN，反向代理，分布式檔案系統，大資料處理等系統。此處不詳細介紹，大家可以問度娘/Google，有機會的話也可以分享給大家。
架構彙總
大型網站的架構是根據業務需求不斷完善的，根據不同的業務特征會做特定的設計和考慮，本文隻是講述一個正常大型網站會涉及的一些技術和手段，希望能給大家帶來啟發。
文章來源：松哥說程式設計 ；
編輯：雲朵匠 | 數商雲(微信ID：shushangyun_com)