服務架構：一步步建構大型網站架構詳細介紹

今天我們來談談一個網站一般是如何一步步來建構起系統架構的，雖然我們希望網站一開始就能有一個很好的架構，但馬克思告訴我們事物是在發展中不斷前 進的，網站架構也是随着業務的擴大、使用者的需求不斷完善的，下面是一個網站架構逐漸發展的基本過程，讀完後，請思考，你現在在哪個階段。

　　架構演變第一步：實體分離WebServer和資料庫

　　最開始，由于某些想法，于是在網際網路上搭建了一個網站，這個時候甚至有可能主機都是租借的，但由于這篇文章我們隻關注架構的演變曆程，是以就假 設這個時候已經是托管了一台主機，并且有一定的帶寬了。這個時候由于網站具備了一定的特色，吸引了部分人通路，逐漸你發現系統的壓力越來越高，響應速度越 來越慢，而這個時候比較明顯的是資料庫和應用互相影響，應用出問題了，資料庫也很容易出現問題，而資料庫出問題的時候，應用也容易出問題。于是進入了第一 步演變階段：将應用和資料庫從實體上分離，變成了兩台機器，這個時候技術上沒有什麼新的要求，但你發現确實起到效果了，系統又恢複到以前的響應速度了，并 且支撐住了更高的流量，并且不會因為資料庫和應用形成互相的影響。

　　看看這一步完成後系統的圖示：

　　架構演變第二步：增加頁面緩存

　　好景不長，随着通路的人越來越多，你發現響應速度又開始變慢了，查找原因，發現是通路資料庫的操作太多，導緻資料連接配接競争激烈，是以響應變慢。 但資料庫連接配接又不能開太多，否則資料庫機器壓力會很高，是以考慮采用緩存機制來減少資料庫連接配接資源的競争和對資料庫讀的壓力。這個時候首先也許會選擇采用 squid等類似的機制來将系統中相對靜态的頁面（例如一兩天才會有更新的頁面）進行緩存（當然，也可以采用将頁面靜态化的方案），這樣程式上可以不做修 改，就能夠很好的減少對WebServer的壓力以及減少資料庫連接配接資源的競争，OK，于是開始采用squid來做相對靜态的頁面的緩存。

　　這一步涉及到了這些知識體系：

　　前端頁面緩存技術，例如squid，如想用好的話還得深入掌握下squid的實作方式以及緩存的失效算法等。

　　架構演變第三步：增加頁面片段緩存

　　增加了squid做緩存後，整體系統的速度确實是提升了，WebServer的壓力也開始下降了，但随着通路量的增加，發現系統又開始變的有些 慢了。在嘗到了squid之類的動态緩存帶來的好處後，開始想能不能讓現在那些動态頁面裡相對靜态的部分也緩存起來呢，是以考慮采用類似ESI之類的頁面 片段緩存政策，OK，于是開始采用ESI來做動态頁面中相對靜态的片段部分的緩存。

　　頁面片段緩存技術，例如ESI等，想用好的話同樣需要掌握ESI的實作方式等；

　　架構演變第四步：資料緩存

　　在采用ESI之類的技術再次提高了系統的緩存效果後，系統的壓力确實進一步降低了，但同樣，随着通路量的增加，系統還是開始變慢。經過查找，可 能會發現系統中存在一些重複擷取資料資訊的地方，像擷取使用者資訊等，這個時候開始考慮是不是可以将這些資料資訊也緩存起來呢，于是将這些資料緩存到本地内 存，改變完畢後，完全符合預期，系統的響應速度又恢複了，資料庫的壓力也再度降低了不少。

　　緩存技術，包括像Map資料結構、緩存算法、所選用的架構本身的實作機制等。

　　架構演變第五步： 增加WebServer

　　好景不長，發現随着系統通路量的再度增加，webserver機器的壓力在高峰期會上升到比較高，這個時候開始考慮增加一台 webserver，這也是為了同時解決可用性的問題，避免單台的webserver down機的話就沒法使用了，在做了這些考慮後，決定增加一台webserver，增加一台webserver時，會碰到一些問題，典型的有：

1、如何讓通路配置設定到這兩台機器上，這個時候通常會考慮的方案是Apache自帶的負載均衡方案，或LVS這類的軟體負載均衡方案；

2、如何保持狀态資訊的同步，例如使用者session等，這個時候會考慮的方案有寫入資料庫、寫入存儲、cookie或同步session資訊等機制等；

3、如何保持資料緩存資訊的同步，例如之前緩存的使用者資料等，這個時候通常會考慮的機制有緩存同步或分布式緩存；

4、如何讓上傳檔案這些類似的功能繼續正常，這個時候通常會考慮的機制是使用共享檔案系統或存儲等；

在解決了這些問題後，終于是把webserver增加為了兩台，系統終于是又恢複到了以往的速度。

　　負載均衡技術（包括但不限于硬體負載均衡、軟體負載均衡、負載算法、linux轉發協定、所選用的技術的實作細節等）、主備技術（包括但不限于 ARP欺騙、linuxheart-beat等）、狀态資訊或緩存同步技術（包括但不限于Cookie技術、UDP協定、狀态資訊廣播、所選用的緩存同步 技術的實作細節等）、共享檔案技術（包括但不限于NFS等）、存儲技術（包括但不限于儲存設備等）。

　　架構演變第六步：分庫

　　享受了一段時間的系統通路量高速增長的幸福後，發現系統又開始變慢了，這次又是什麼狀況呢，經過查找，發現資料庫寫入、更新的這些操作的部分數 據庫連接配接的資源競争非常激烈，導緻了系統變慢，這下怎麼辦呢？此時可選的方案有資料庫叢集和分庫政策，叢集方面像有些資料庫支援的并不是很好，是以分庫會 成為比較普遍的政策，分庫也就意味着要對原有程式進行修改，一通修改實作分庫後，不錯，目标達到了，系統恢複甚至速度比以前還快了。

　　這一步更多的是需要從業務上做合理的劃分，以實作分庫，具體技術細節上沒有其他的要求；

　　但同時随着資料量的增大和分庫的進行，在資料庫的設計、調優以及維護上需要做的更好，是以對這些方面的技術還是提出了很高的要求的。

　　架構演變第七步：分表、DAL和分布式緩存

　　随着系統的不斷運作，資料量開始大幅度增長，這個時候發現分庫後查詢仍然會有些慢，于是按照分庫的思想開始做分表的工作。當然，這不可避免的會 需要對程式進行一些修改，也許在這個時候就會發現應用自己要關心分庫分表的規則等，還是有些複雜的。于是萌生能否增加一個通用的架構來實作分庫分表的資料 通路，這個在ebay的架構中對應的就是DAL，這個演變的過程相對而言需要花費較長的時間。當然，也有可能這個通用的架構會等到分表做完後才開始做。同 時，在這個階段可能會發現之前的緩存同步方案出現問題，因為資料量太大，導緻現在不太可能将緩存存在本地，然後同步的方式，需要采用分布式緩存方案了。于 是，又是一通考察和折磨，終于是将大量的資料緩存轉移到分布式緩存上了。

　　分表更多的同樣是業務上的劃分，技術上涉及到的會有動态hash算法、consistenthash算法等；

　　DAL涉及到比較多的複雜技術，例如資料庫連接配接的管理（逾時、異常）、資料庫操作的控制（逾時、異常）、分庫分表規則的封裝等；

　　架構演變第八步：增加更多的WebServer

　　在做完分庫分表這些工作後，資料庫上的壓力已經降到比較低了，又開始過着每天看着通路量暴增的幸福生活了。突然有一天，發現系統的通路又開始有 變慢的趨勢 了，這個時候首先檢視資料庫，壓力一切正常，之後檢視webserver，發現apache阻塞了很多的請求，而應用伺服器對每個請求也是比 較快的，看來是請求數太高導緻需要排隊等待，響應速度變慢。這還好辦，一般來說，這個時候也會有些錢了，于是添加一些webserver伺服器，在這個添 加webserver伺服器的過程，有可能會出現幾種挑戰：

　　1、Apache的軟負載或LVS軟負載等無法承擔巨大的web通路量（請求連接配接數、網絡流量等）的排程了，這個時候如果經費允許的話，會采取 的方案是購買硬體負載平衡裝置，例如F5、Netsclar、Athelon之類的，如經費不允許的話，會采取的方案是将應用從邏輯上做一定的分類，然後 分散到不同的軟負載叢集中；

　　2、原有的一些狀态資訊同步、檔案共享等方案可能會出現瓶頸，需要進行改進，也許這個時候會根據情況編寫符合網站業務需求的分布式檔案系統等；

　　在做完這些工作後，開始進入一個看似完美的無限伸縮的時代，當網站流量增加時，應對的解決方案就是不斷的添加webserver。

　　到了這一步，随着機器數的不斷增長、資料量的不斷增長和對系統可用性的要求越來越高，這個時候要求對所采用的技術都要有更為深入的了解，并需要根據網站的需求來做更加定制性質的産品。

　　架構演變第九步：資料讀寫分離和廉價存儲方案

　　突然有一天，發現這個完美的時代也要結束了，資料庫的噩夢又一次出現在眼前了。由于添加的webserver太多了，導緻資料庫連接配接的資源還是 不夠用，而這個時候又已經分庫分表了，開始分析資料庫的壓力狀況，可能會發現資料庫的讀寫比很高，這個時候通常會想到資料讀寫分離的方案。當然，這個方案 要實作并不容易，另外，可能會發現一些資料存儲在資料庫上有些浪費，或者說過于占用資料庫資源，是以在這個階段可能會形成的架構演變是實作資料讀寫分離， 同時編寫一些更為廉價的存儲方案，例如BigTable這種。

　　資料讀寫分離要求對資料庫的複制、standby等政策有深入的掌握和了解，同時會要求具備自行實作的技術；

　　廉價存儲方案要求對OS的檔案存儲有深入的掌握和了解，同時要求對采用的語言在檔案這塊的實作有深入的掌握。

　　架構演變第十步：進入大型分布式應用時代和廉價伺服器群夢想時代

　　經過上面這個漫長而痛苦的過程，終于是再度迎來了完美的時代，不斷的增加webserver就可以支撐越來越高的通路量了。對于大型網站而言， 人氣的重要毋庸置疑，随着人氣的越來越高，各種各樣的功能需求也開始爆發性的增長。這個時候突然發現，原來部署在webserver上的那個web應用已 經非常龐大 了，當多個團隊都開始對其進行改動時，可真是相當的不友善，複用性也相當糟糕，基本是每個團隊都做了或多或少重複的事情，而且部署和維護也是 相當的麻煩。因為龐大的應用包在N台機器上複制、啟動都需要耗費不少的時間，出問題的時候也不是很好查，另外一個更糟糕的狀況是很有可能會出現某個應用上 的bug就導 緻了全站都不可用，還有其他的像調優不好操作（因為機器上部署的應用什麼都要做，根本就無法進行針對性的調優）等因素，根據這樣的分析，開 始痛下決心，将系統根據職責進行拆分，于是一個大型的分布式應用就誕生了，通常，這個步驟需要耗費相當長的時間，因為會碰到很多的挑戰：

　　1、拆成分布式後需要提供一個高性能、穩定的通信架構，并且需要支援多種不同的通信和遠端調用方式；

2、将一個龐大的應用拆分需要耗費很長的時間，需要進行業務的整理和系統依賴關系的控制等；

3、如何運維（依賴管理、運作狀況管理、錯誤追蹤、調優、監控和報警等）好這個龐大的分布式應用。

經過這一步，差不多系統的架構進入相對穩定的階段，同時也能開始采用大量的廉價機器來支撐着巨大的通路量和資料量，結合這套架構以及這麼多次演變過程吸取的經驗來采用其他各種各樣的方法來支撐着越來越高的通路量。

　　這一步涉及的知識體系非常的多，要求對通信、遠端調用、消息機制等有深入的了解和掌握，要求的都是從理論、硬體級、作業系統級以及所采用的語言的實作都有清楚的了解。

　　最後，附上一張大型網站的架構圖：