天天看點

大型網站技術架構-2. 大型網站架構模式

  1. 分層

  分層是企業應用中最常見的一種架構模式,将系統在橫向次元上切分為幾個部分,每個部分負責一部分相對比較單一的職責,然後通過上層對下層的依賴和調用組成一個完整的系統。

  在大型網站架構中也采用分層結構,将網站軟體系統分為:應用層、服務層、資料層;

·應用層:負責具體的業務和視圖展示,如網站首頁及搜尋輸入和結果展示;

·服務層:為應用層提供服務支援,如使用者管理服務,購物車服務;

·資料層:提供資料存儲通路服務,如資料庫、緩存、檔案、搜尋等;

  分層架構必須合理規劃層次邊界和接口,在開發過程中,嚴格遵循分層架構的限制,禁止跨層次的調用(應用層直接調用資料層)及逆向調用(資料層調用服務層,或者服務層調用應用層)。三層結構分别部署在不同的伺服器上,使網站擁有更多的計算資源以及越來越多的使用者通路。在網站的發展過程中,分層結構對網站支援高并發向分布式方向發展至關重要。是以在網站規模還很小的時候就采用分層結構,這樣将來網站做大時才能更好的應對。

2. 分割

   網站越大,功能越複雜,服務和資料處理的種類越多,講這些不同的功能和服務分割開來,包裝成高内聚低耦合的子產品單元,一方面有助于軟體的開發和維護;另一方面,便于不同子產品的分布式部署,提高網站的并發處理能力和功能擴充能力。

3. 分布式

   對于大型網站,分層和分割的一個主要的目的是為了切分後的子產品便于分布式部署,即将不同子產品部署在不同的伺服器上,通過遠端調用協同工作。分布式意味着可以使用更多的計算機完成相同的功能,計算機越多,cpu、記憶體、存儲資源也就越多,能夠處理的并發通路和資料量就越大,進而能夠為更多的使用者提供服務。

  分布式在解決網站高并發問題的同時也帶來了其他問題:

1)分布式意味着服務調用必須通過網絡,這可能會對性能造成比較嚴重的影響;

2)伺服器越多,伺服器當機的機率也就越大,一台伺服器當機造成的服務不可用可能會導緻很多應用不可通路,使網站可用性降低;

3)資料在分布式的環境中保持資料一緻性也非常困難,分布式事務也難以保證,這對網站業務的正确性和業務流程可能造成很大的影響;

4)分布式導緻網站依賴錯綜複雜,開發管理維護困難。

  在網站應用中,常用的分布式方案有以下幾種:

·分布式應用和服務:将分層和分割後的應用和服務子產品分布式部署,可以改善網站性能和并發性、加快開發和釋出速度、減少資料庫連接配接資源消耗外,還可以使不同的應用複用共同的服務,便于業務功能擴充;

·分布式靜态資源:網站的靜态資源如JS、CSS、logo圖檔等資源獨立分布式部署,并采用獨立的域名,即動靜分離。靜态資源分布式部署可以減輕應用伺服器的負載壓力;通過使用獨立域名加快浏覽器并發加載的速度。

·分布式資料和存儲:對于海量資料,單台計算機沒法提供如此大的存儲空間,這些資料需要分布式存儲。為網站應用而生的各種NoSQL産品幾乎都是分布式的。

·分布式計算:目前網站普遍使用Hadoop以及MapReduce分布式計算架構進行計算。

  此外,還有可以支援網站線上伺服器配置實時更新的分布式配置;分布式環境下實作并發和協調的分布式鎖;支援雲存儲的分布式檔案系統等;

4. 叢集

  使用分布式雖然已經将分層和分割後的子產品獨立化部署,但是對于使用者通路集中的子產品,還需要将獨立部署的伺服器叢集化,即多台伺服器部署相同應用構成一個叢集,通過負載均衡裝置共同對外提供服務。

  因為伺服器叢集有更多伺服器提供相同服務,是以可以提供更好的并發性。當有更多使用者通路的時候,隻需要向叢集中加入新的機器即可。因為一個應用由多态伺服器提供,當某台伺服器發生故障時,負載均衡裝置将請求轉發到叢集中其他伺服器上,使伺服器故障不影響使用者使用。是以在網站應用中,即使是通路量很小的分布式應用和服務,也至少要部署兩台伺服器構成一個小的叢集,目的是提高系統的可用性。

5. 緩存

  大型網站架構設計在很多方面都是用了緩存設計:

·CDN:即内容分發網絡,部署在距離終端使用者最近的網絡服務商,使用者的網絡請求總是先到達他的網絡服務商哪裡,在這裡緩存網站的一些靜态資源,可以就近以最快的速度傳回給使用者,如視訊網站和門戶網站會将通路量大的熱點内容緩存在CDN。

·反向代理:反向代理屬于網站前端架構的一部分,部署在網站的前端,當使用者請求到達網站的資料中心時,最先通路到的是反向代理伺服器,這裡緩存網站的靜态資源,無需将請求繼續轉發給應用伺服器就能傳回給使用者。

·本地緩存:在應用伺服器本地緩存着熱點資料,應用程式可以在本機記憶體中直接通路資料,而無需通路資料庫。

·分布式緩存:大型網站的資料量非常龐大,即使隻緩存一小部分,需要的記憶體空間也不是單機能承受的,是以除了本地緩存,還需要分布式緩存,将資料緩存在一個專門的分布式緩存叢集中,應用程式通過網絡通信通路緩存資料。

  使用緩存有兩個前提條件,一是資料通路熱點不均衡,某些資料會被更頻繁的通路,這些資料應該放在緩存中;二是資料在某個時間段内有效,不會很快過期,否則緩存的資料就會因已經失效而産生髒讀,影響結果的正确性。網站應用中,緩存除了可以加快資料通路速度,還可以減輕後端應用和資料存儲的負載壓力,這一點對網站資料庫架構至關重要,網站資料庫幾乎都是按照有緩存的前提進行負載能力設計的。

6. 異步

  在大型網站架構中,系統解耦合的手段除了前面提到的分層、分割、分布等,還有一個重要的手段是異步,業務之間的消息傳遞不是同步調用,而是将一個業務操作分成多個階段,每個階段之間通過共享資料的方式異步執行進行協作。

  在單一伺服器内部可通過多線程共享記憶體隊列的方式實作異步,處在業務操作前面的線程将輸出寫入到隊列,後面的線程從隊列中讀取資料進行處理;

  在分布式系統中,多個伺服器叢集通過分布式消息隊列實作異步,分布式消息隊列可以看做記憶體隊列的分布式部署。

  異步架構是典型的生産者消費者模式,兩者不存在直接調用,隻要保持資料結構不變,彼此功能實作可以随意變化而不互相影響,這對網站擴充新功能非常便利。除此之外,使用異步消息隊列還有如下特性:

·提高系統的可用性:消費者伺服器發生故障,資料會在消息隊列伺服器中存儲堆積,生産者伺服器可以繼續處理業務請求,系統整體表現無故障。消費者伺服器恢複正常後,繼續處理消息隊列中的資料。

·加快網站響應速度:處在業務處理前端的生産者伺服器在處理完業務請求後,将資料寫入消息隊列,不需要等待消費者伺服器處理就可以傳回,響應延遲減少。

·消除并發通路高峰:使用消息隊列将突然增加的通路請求資料放到消息隊列中,等待消費者伺服器依次處理,就不會對整個網站負載造成太大的壓力。

  但需要注意的是,使用異步方式處理業務可能會對使用者體驗、業務流程造成影響,需要網站産品設計方面的支援。

7. 備援

  網站需要7x24小時連續運作,但是伺服器随時可能出現故障,特别是伺服器規模比較大時,出現某台伺服器當機是必然事件。想要保證在伺服器當機的情況下網站依然可以繼續服務,不丢失資料,就需要一定程度的伺服器備援運作,資料備援備份,這樣當某台伺服器當機時,可以将其上的服務和資料通路轉移到其他機器上。

  通路和負載很小的服務也必須部署至少兩台伺服器構成一個叢集,其目的就是通過備援實作服務高可用。資料庫除了定期備份,存檔儲存,實作冷備份外,為了保證線上業務高可用,還需要對資料庫進行主從分離,實時同步實作熱備份。

8. 自動化

9. 安全

----新浪微網誌平台架構