高負載、高并發網站架構知識彙總-大流量網站架構的幾點認識

一：硬架構

 1 ：機房的選擇：

在選擇機房的時候，根據網站使用者的地域分布，可以選擇網通或電信機房，但更多時候，可能雙線機房才是合适的。越大的城市，機房價格越貴，從成本的角度看可以在一些中小城市托管伺服器，比如說廣州的公司可以考慮把伺服器托管在東莞，佛山等地，不是特别遠，但是價格會便宜很多。

2 ：帶寬的大小：

通常老闆花錢請我們架構網站的時候，會給我們提出一些目标，諸如網站每天要能承受100 萬PV 的通路量等等。這時我們要預算一下大概需要多大的帶寬，計算帶寬大小主要涉及兩個名額（峰值流量和頁面大小），我們不妨在計算前先做出必要的假設：

第一：假設峰值流量是平均流量的5 倍。

第二：假設每次通路平均的頁面大小是100K 位元組左右。

如果100 萬PV 的通路量在一天内平均分布的話，折合到每秒大約12 次通路，如果按平均每次通路頁面的大小是100K 位元組左右計算的話，這12 次訪 問總計大約就是1200K 位元組，位元組的機關是Byte ，而帶寬的機關是bit ，它們之間的關系是1Byte = 8bit ，是以1200K Byte 大緻就相當于9600K bit ，也就是9Mbps 的樣子，實際情況中，我們的網站必須能在峰值流量時保持正常通路，是以按照假設的峰值流量算，真實帶寬的需求應該在45Mbps  左右。

當然，這個結論是建立在前面提到的兩點假設的基礎上，如果你的實際情況和這兩點假設有出入，那麼結果也會有差别。

3 ：伺服器的劃分：

先看我們都需要哪些伺服器：圖檔伺服器，頁面伺服器，資料庫伺服器，應用伺服器，日志伺服器等等。

對于通路量大點的網站而言，分離單獨的圖檔伺服器和頁面伺服器相當必要，我們可以用lighttpd 來跑圖檔伺服器，用apache 來跑頁面服務 器，當然也可以選擇别的，甚至，我們可以擴充成很多台圖檔伺服器和很多台頁面伺服器，并設定相關域名，如img.domain.com 和 www.domain.com ，頁面裡的圖檔路徑都使用絕對路徑，如<img src="http://img.domain.com/abc.gif" /> ，然後設定DNS 輪循，達到最初級的負載均衡。當然，伺服器多了就不可避免的涉及一個同步的問題，這個可以使用rsync 軟體來搞定。

資料庫伺服器是重中之重，因為網站的瓶頸問題十有八九是出在資料庫身上。現在一般的中小網站多使用MySQL 資料庫，不過它的叢集功能似乎還沒有達 到stable 的階段，是以這裡不做評價。一般而言，使用MySQL 資料庫的時候，我們應該搞一個主從（一主多從）結構，主資料庫伺服器使用innodb  表結構，從資料伺服器使用myisam 表結構，充分發揮它們各自的優勢，而且這樣的主從結構分離了讀寫操作，降低了讀操作的壓力，甚至我們還可以設定一個專門的從伺服器做備份伺服器，友善備份。不然如果你隻有一台主伺服器，在大資料量的情況下，mysqldump 基本就沒戲了，直接拷貝資料檔案的話，還得先停止資料庫服務再拷貝，否則備份檔案會出錯。但對于很多網站而言，即使資料庫服務僅停止了一秒也是不可接受的。如果你有了一台從資料庫伺服器，在備份數 據的時候，可以先停止服務（slave stop ）再備份，再啟動服務（slave start ）後從伺服器會自動從主伺服器同步資料，一切都沒有影響。但是主從結構也是有緻命缺點的，那就是主從結構隻是降低了讀操作的壓力，卻不能降低寫操作的壓力。為了适應更大的規模，可能隻剩下最後這招了：橫向/ 縱向分割資料庫。所謂橫向分割資料庫，就是把不同的表儲存到不同的資料庫伺服器上，比如說使用者表儲存在A 資料庫伺服器上，文章表儲存在B 資料庫伺服器上，當然這樣的分割是有代價的，最基本的就是你沒法進行LEFT JOIN 之類的操作了。所謂縱向分割資料庫，一般是指按照使用者辨別（user_id ）等來劃分資料存儲的伺服器，比如說：我們有5 台資料庫伺服器，那麼 “user_id % 5 + 1” 等于1 的就儲存到1 号伺服器，等于2 的就儲存到2 好伺服器，以此類推，縱向分隔的原則有很多種，可以視情況選擇。不過和橫向分割資料庫一樣，縱向分割 資料庫也是有代價的，最基本的就是我們在進行如COUNT, SUM 等彙總操作的時候會麻煩很多。綜上所述，資料庫伺服器的解決方案一般視情況往往是一個混合的方案，以其發揮各種方案的優勢，有時候還需要借助 memcached 之類的第三方軟體，以便适應更大通路量的要求。

如果有專門的應用伺服器來跑PHP 腳本是最合适不過的了，那樣我們的頁面伺服器隻儲存靜态頁面就可以了，可以給應用伺服器設定一些諸如 app.domain.com 之類的域名來和頁面伺服器加以差別。對于應用伺服器，我還是更傾向于使用prefork 模式的apache ，配上必要的 xcache 之類的PHP 緩存軟體，加載子產品要越少越好，除了mod_rewrite 等必要的子產品，不必要的東西統統舍棄，盡量減少httpd 程序的記憶體消耗，而那些圖檔伺服器，頁面伺服器等靜态内容就可以使用lighttpd 或者tux 來搞，充分發揮各種伺服器的特點。

如果條件允許，獨立的日志伺服器也是必要的，一般小網站的做法都是把頁面伺服器和日志伺服器合二為一了，在淩晨通路量不大的時候cron 運作前一天 的日志計算，不過如果你使用awstats 之類的日志分析軟體，對于百萬級通路量而言，即使按天歸檔，也會消耗很多時間和伺服器資源去計算，是以分離單獨的日志伺服器還是有好處的，這樣不會影響正式伺服器的工作狀态。

二：軟架構

1 ：架構的選擇：

現在的PHP 架構有很多選擇，比如：CakePHP ，Symfony ，Zend Framework 等等，至于應該使用哪一個并沒有唯一的答案，要根據Team 裡團隊成員對各個架構的了解程度而定。很多時候，即使沒有使用架構，一樣能寫出好的程式來，比如Flickr 據說就是用Pear+Smarty 這樣的類庫寫出來的，是以是否用架構，用什麼架構，一般不是最重要，重要的是我們的程式設計思想裡要有架構的意識。

現在的.NET 架構有很多選擇，比如：cnForums ，.text ，cs, Castle, 等等

2 ：邏輯的分層：

網站規模到了一定的程度之後，代碼裡各種邏輯糾纏在一起，會給維護和擴充帶來巨大的障礙，這時我們的解決方式其實很簡單，那就是重構，将邏輯進行分層。通常，自上而下可以分為表現層，應用層，領域層，持久層。

所謂表現層，并不僅僅就指模闆，它的範圍要更廣一些，所有和表現相關的邏輯都應該被納入表現層的範疇。比如說某處的字型要顯示為紅色，某處的開頭要空兩格，這些都屬于表現層。很多時候，我們容易犯的錯誤就是把本屬于表現層的邏輯放到了其他層面去完成，這裡說一個很常見的例子：我們在清單頁顯示文章标題的時候，都會設定一個最大字數，一旦标題長度超過了這個限制，就截斷，并在後面顯示“..” ，這就是最典型的表現層邏輯，但是實際情況，有很多程式員都是在非表現層代碼裡完成資料的擷取和截斷，然後指派給表現層模闆，這樣的代碼最直接的缺點就是同樣一段資料，在這個頁面我可能想顯示前10 個字，再另一個 頁面我可能想顯示前15 個字，而一旦我們在程式裡固化了這個字數，也就喪失了可移植性。正确的做法是應該做一個視圖助手之類的程式來專門處理此類邏輯，比如說：Smarty 裡的truncate 就屬于這樣的視圖助手（不過它那個實作不适合中文）。

所謂應用層，它的主要作用是定義使用者可以做什麼，并把操作結果回報給表現層。至于如何做，通常不是它的職責範圍（而是領域層的職責範圍），它會通過委派把如何做的工作交給領域層去處理。在使用MVC 架構的網站中，我們可以看到類似下面這樣的URL ：domain.com/articles/view/123 ，其内部編碼實作，一般就是一個Articles 控制器類，裡面有一個view 方法，這就是一 個典型的應用層操作，因為它定義了使用者可以做一個檢視的動作。在MVC 架構中，有一個準則是這麼說的：Rich Model Is Good 。言外之意，就是Controller 要保持“ 瘦” 一些比較好，進而說明應用層要盡量簡單，不要包括涉及領域内容的邏輯。

所謂領域層，最直接的解釋就是包含領域邏輯的層。它是一個軟體的靈魂所在。先來看看什麼叫領域邏輯，簡單的說，具有明确的領域概念的邏輯就是領域邏輯，比如我們在ATM 機上取錢，過程大緻是這樣的：插入銀聯卡，輸入密碼，輸入取款金額，确定，拿錢，然後ATM 吐出一個交易憑條。在這個過程中，銀聯卡 在ATM 機器裡完成錢從帳戶上劃撥的過程就是一個領域邏輯，因為取錢在銀行中是一個明确的領域概念，而ATM 機吐出一個交易憑條則不是領域邏輯，而僅是一 個應用邏輯，因為吐出交易憑條并不是銀行中一個明确的領域概念，隻是一種技術手段，對應的，我們取錢後不吐交易憑條，而發送一條提醒短信也是可能的，但并不是一定如此，如果在實際情況中，我們要求取款後必須吐出交易憑條，也就是說吐出交易憑條已經和取款緊密結合，那麼你也可以把吐出交易憑條看作是領域邏輯 的一部分，一切都以問題的具體情況而定。在Eric 那本經典的領域驅動設計中，把領域層分為了五種基本元素：實體，值對象，服務，工廠，倉儲。具體可以參 閱書中的介紹。領域層最常犯的錯誤就是把本應屬于領域層的邏輯洩露到了其他層次，比如說在一個CMS 系統，對熱門文章的定義是這樣的：每天被浏覽的次數多 于1000 次，被評論的次數多于100 次，這樣的文章就是熱門文章。對于一個CMS 來說，熱門文章這個詞無疑是一個重要的領域概念，那麼我們如何實作這個邏輯的設計的？你可能會給出類似下面的代碼：“SELECT ... FROM ... WHERE  浏覽 > 1000 AND  評論 > 100” ，沒錯，這是最簡單的實作方式，但是這裡需要注意的是“ 每天被浏覽的次數多于1000 次，被評論的次數多于100 次” 這個重要的領域邏輯被隐藏到了SQL 語句中，SQL 語句顯然不屬于領域層的範疇，也就是說，我們的領域邏輯洩露了。

所謂持久層，就是指把我們的領域模型儲存到資料庫中。因為我們的程式代碼是面向對象風格的，而資料庫一般是關系型的資料庫，是以我們需要把領域模型 碾平，才能儲存到資料庫中，但是在 PHP 裡，直到目前還沒有非常好的 ORM 出現，是以這方面的解決方案不是特别多，參考 Martin 的企業應用架構模式一   書，大緻可以使用的方法有行資料入口（ Row Data Gateway ）或者表資料入口（ Table Data Gateway），或者把領域層和持久層合二為一變成活動記錄（Active Record）的方式。

http://www.mylogged.com/?post=136