Tomcat伺服器叢集與負載均衡實作

一、前言

在單一的伺服器上執行WEB應用程式有一些重大的問題，當網站成功建成并開始接受大量請求時，單一伺服器終究無法滿足需要處理的負荷量，是以就有點顯得有 點力不從心了。另外一個常見的問題是會産生單點故障，如果該伺服器壞掉，那麼網站就立刻無法運作了。不論是因為要有較佳的擴充性還是容錯能力，我們都會想 在一台以上的伺服器計算機上執行WEB應用程式。是以，這時候我們就需要用到叢集這一門技術了。

在進入叢集系統架構探讨之前，先定義一些專門術語：

1. 叢集(Cluster)：是一組獨立的計算機系統構成一個松耦合的多處理器系統，它們之間通過網絡實作程序間的通信。應用程式可以通過網絡共享記憶體進行消息傳送，實作分布式計算機。

2. 負載均衡(Load Balance)：先得從叢集講起，叢集就是一組連在一起的計算機，從外部看它是一個系統，各節點可以是不同的作業系統或不同硬體構成的計算機。如一個提供Web服務的叢集，對外界來看是一個大Web伺服器。不過叢集的節點也可以單獨提供服務。

3. 特點：在現有網絡結構之上，負載均衡提供了一種廉價有效的方法擴充伺服器帶寬和增加吞吐量，加強網絡資料處理能力，提高網絡的靈活性和可用性。叢集系統(Cluster)主要解決下面幾個問題： 

高可靠性（HA）：利用叢集管理軟體，當主伺服器故障時，備份伺服器能夠自動接管主伺服器的工作，并及時切換過去，以實作對使用者的不間斷服務。 

高性能計算（HP）：即充分利用叢集中的每一台計算機的資源，實作複雜運算的并行處理，通常用于科學計算領域，比如基因分析，化學分析等。 

負載平衡：即把負載壓力根據某種算法合理配置設定到叢集中的每一台計算機上，以減輕主伺服器的壓力，降低對主伺服器的硬體和軟體要求。

總體來說，在負載均衡的思路下，多台伺服器為對等方式，每台伺服器都具有同等的地位，可以單獨對外提供服務而無須其他伺服器的輔助。通過負載分擔技術，将外部發送來的請求按一定規則配置設定到對稱結構中的某一台伺服器上，而接收到請求的伺服器都獨立回應客戶機的請求。

提供服務的一組伺服器組成了一個應用伺服器叢集(cluster)，叢集下的對等多機環境可以增加系統的并發處理能力，和單台機器出現故障系統的錯誤備援能力；同時實作了負載均衡和系統高可靠性。

二、常用負載均衡技術

1. 基于DNS的負載均衡

通過DNS服務中的随機名字解析來實作負載均衡，在DNS伺服器中，可以為多個不同的位址配置同一個名字，而最終查詢這個名字的客戶機将在解析這個名字時 得到其中一個位址。是以，對于同一個名字，不同的客戶機會得到不同的位址，他們也就通路不同位址上的Web伺服器，進而達到負載均衡的目的。

2. 反向代理負載均衡 （如Apache+JK2+Tomcat這種組合）

使用代理伺服器可以将請求轉發給内部的Web伺服器，讓代理伺服器将請求均勻地轉發給多台内部Web伺服器之一上，進而達到負載均衡的目的。這種代理方式 與普通的代理方式有所不同，标準代理方式是客戶使用代理通路多個外部Web伺服器，而這種代理方式是多個客戶使用它通路内部Web伺服器，是以也被稱為反 向代理模式。

3. 基于NAT（Network Address Translation）的負載均衡技術 （如Linux Virtual Server，簡稱LVS）

網絡位址轉換為在内部位址和外部位址之間進行轉換，以便具備内部位址的計算機能通路外部網絡，而當外部網絡中的計算機通路位址轉換網關擁有的某一外部位址 時，位址轉換網關能将其轉發到一個映射的内部位址上。是以如果位址轉換網關能将每個連接配接均勻轉換為不同的内部伺服器位址，此後外部網絡中的計算機就各自與 自己轉換得到的位址上伺服器進行通信，進而達到負載分擔的目的。

三、Apache+JK2實作Tomcat叢集與負載均衡

客戶系統一般采用Apache httpd作為web伺服器，即作為Tomcat的前端處理器，根據具體情況而定，有些情況下是不需要Apache httpd作為 web 伺服器的，如系統展現沒有靜态頁面那就不需要Apache httpd，那時可以直接使用Tomcat作為web 伺服器來使用。使用Apache httpd主要是它在處理靜态頁面方面的能力比Tomcat強多了。

1. 叢集實作原理

 如上圖所示，主要通過 Apache-Server 作為中轉伺服器，實作多個 tomcat 伺服器之間的分布式處理，使用者直接請求 Apache-Server ，然後 Apache-Server 會将請求分發到具體的 tomcat-server ，之後 tomcat-server 響應客戶請求并傳回結果到 Apache-Server ，最後 Apache-Server 傳回結果給使用者。

2. 配置負載均衡器

檔案說明：

(a) mod_jk.conf，主要定義 mod_jk 子產品的位置以及 mod_jk 子產品的連接配接日志設定，還有定義 worker.properties 檔案的位置。

(b) worker.properties，定義 worker 的參數，主要是連接配接 tomcat 主機的位址和端口資訊。如果 Tomcat 與 apache 不在同一台機器上，或者需要做多台機器上 tomcat 的負載均衡隻需要更改 workers.properties 檔案中的相應定義即可。％ APACHE_HOME ％為你的安裝目錄。

環境說明： 主要使用了一個 Apache Server 和兩個 Tomcat ，在同一台電腦上進行測試。

(a) 準備軟體

Jdk1.6 下載下傳位址： http://java.sun.com

tomcat -6.0.29 下載下傳位址： http://jakarta.apache.org

apache_2.2.4-win32-x86-no_ssl.msi 下載下傳位址： http://httpd.apache.org/download.cgi

mod_jk-1.2.31-httpd-2.0.52.so ( 主要作用是建立 Apache Server 與 Tomcat 之間的連接配接 ) 下載下傳位址：http://www.apache.org/dist/tomcat/tomcat-connectors/jk/binaries/

說明： apache-server 安裝完成後，可以在浏覽器中輸入 http://localhost/ 來測試，如果出現 ” It works!” 則表示安裝成功。

(b) 安裝 mod_jk 連接配接子產品

安裝好 Jdk 、 tomcat 、 apache 後 , 加入 mod_jk 連接配接子產品，就是把 mod_jk- 1.2.31 -httpd-2.2.3.so 檔案拷貝到％ APACHE_HOME ％ \modules 下，把 jk 子產品的配置放到單獨的檔案中來，在％ APACHE_HOME ％ \conf 目錄建立 mod_jk.conf 、 workers.properties 檔案。

在 httpd.conf 最後加上：

# JK module settings

Include conf/mod_jk.conf

說明：以上表示将 mod_jk.conf 配置檔案包含進來

(c) 修改 mod_jk.conf 檔案

為了保持 httpd.conf 檔案的簡潔，把 jk 子產品的配置放到單獨的檔案中來。在 mod_jk.conf 檔案中添加以下内容：

# Load mod_jk2 module

LoadModule jk_module modules/mod_jk-1.2.31-httpd-2.2.3.so

# Where to find workers.properties( 引用 workers 配置檔案 )

JkWorkersFile conf/workers.properties

# Where to put jk logs(log 檔案路徑 )

JkLogFile logs/mod_jk2.log

# Set the jk log level [debug/error/info](log 級别 )

JkLogLevel info

# Select the log format(log 格式 )

JkLogStampFormat "[%a %b %d %H:%M:%S %Y] "

# JkOptions indicate to send SSL KEY SIZE,

JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories

# JkRequestLogFormat set the request format

JkRequestLogFormat "%w %V %T"

# Send JSPs for context / to worker named loadBalancer(URL 轉發配置，比對的 URL 才轉發到 tomcat 進行處理 )

JkMount /*.jsp controller

# JkMount /*.* loadBalancer

(d) 修改 workers.properties 檔案

在 workers.properties 檔案中添加以下内容：

#server 清單

worker.list = controller,tomcat1,tomcat2

# tomcat1(ajp13 端口号，在tomcat下server.xml配置,預設8009)

worker.tomcat1.port=8009

#tomcat 的主機位址，如不為本機，請填寫ip位址

worker.tomcat1.host=localhost

worker.tomcat1.type=ajp13

#server 的權重比重，值越高，分得的請求越多

worker.tomcat1.lbfactor = 1

# tomcat2

worker.tomcat2.port=9009

worker.tomcat2.host=localhost

worker.tomcat2.type=ajp13

worker.tomcat2.lbfactor = 1

# controller( 負載均衡控制器)

worker.controller.type=lb

# 指定分擔請求的tomcat

worker.controller.balanced_workers=tomcat1,tomcat2

#worker.controller.sticky_session=true

說明：此檔案配置了 2 個 tomcat 伺服器進行負載均衡處理

(e) 修改 tomcat 配置檔案 server.xml

更改其中一個的設定打開 tomcat2/conf/server.xml 檔案，修改裡面所有的端口設定，将 8 改為 9 ，如下：    (f) 編寫一個測試頁面 teat1.jsp

建立一個 test 的 web 應用，裡面建立一個 test1.jsp, 内容為：

(g) 啟動伺服器并進行測試

依次啟動 apache-server 、 tomcat1 、 tomcat2 ，通過 http://localhost/test/test1.jsp 通路，檢視 tomcat1 的視窗，可以看到列印了一行 "==========" ，再重新整理一次， tomcat2 也列印了一條，再重新整理，可以看到請求會被 tomcat1,tomcat2 輪流處理 , 實作了負載均衡

3. 叢集 (session複制 )

隻配置負載均衡還不行，還要 session 複制，也就是說其中任何一個 tomcat 的添加的 session ，是要同步複制到其它 tomcat ， 叢集内的 tomcat 都有相同的 session：

(a) Tomcat 配置

修改 tomcat1, tomcat2 的 server.xml 檔案添加叢集内容， tomcat5.5 無需添加，隻需要去掉注釋符， tomcat6.0 需要添加，内容如下：

<Cluster className="org.apache.catalina.cluster.tcp.SimpleTcpCluster"

managerClassName="org.apache.catalina.cluster.session.DeltaManager"

expireSessionsOnShutdown="false"

useDirtyFlag="true"

notifyListenersOnReplication="true">

<Membership

className="org.apache.catalina.cluster.mcast.McastService"

mcastAddr="228.0.0.4"

mcastPort="45564"

mcastFrequency="500"

mcastDropTime="3000"/>

<Receiver

className="org.apache.catalina.cluster.tcp.ReplicationListener"

tcpListenAddress="auto"

tcpListenPort="4001"

tcpSelectorTimeout="100"

tcpThreadCount="6"/>

<Sender

className="org.apache.catalina.cluster.tcp.ReplicationTransmitter"

replicationMode="pooled"

ackTimeout="15000"

waitForAck="true"/>

<Valve className="org.apache.catalina.cluster.tcp.ReplicationValve"

filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>

<Deployer className="org.apache.catalina.cluster.deploy.FarmWarDeployer"

tempDir="/tmp/war-temp/"

deployDir="/tmp/war-deploy/"

watchDir="/tmp/war-listen/"

watchEnabled="false"/>

<ClusterListener className="org.apache.catalina.cluster.session.ClusterSessionListener"/>

</Cluster>

分别添加以上内容後，在 tomcat2 中，修改 tcpListenPort="4001" 為 4002。

Engine 增加 jvmRoute 屬性設定， jvmRoute 的值來自于 workers.properties 檔案所設定的伺服器名稱。

<Engine name="Catalina" defaultHost="localhost" jvmRoute="tomcat1" >

(b) 添加 test.jsp 頁面

修改 web.xml 檔案，加入 <distributable/> 節點，如下所示：

(c) Session 複制測試

測試步驟如下：

1) 啟動 apache-server 、 tomcat1 、 tomcat2

2) 通路 http://localhost/test/test.jsp ，輸入名稱： test0001 、值： 123 并點選“送出查詢内容”按鈕，顯示效果如下：

如上圖所示， tomcat1 建立了一個新的 session ， session 中有屬性 test0001, 值為 123 

 3) 關閉 tomcat1 伺服器， tomcat1 端口為 8080 ，如下圖： 

 4) 在頁面中再次點選“送出查詢内容”按鈕，效果如下： 

 前端頁面并沒有發生改變，接下來檢視背景情況： 

 如圖所示，可以發現 session 已成功複制到 tomcat2 中，以此證明 tomcat 叢集已配置成功。

5) 另外來看看不關閉 tomcat1 伺服器再次送出的情況 

 如圖所示，請求并沒有轉發到 tomcat2 伺服器，而是再次轉回 tomcat1 伺服器，這種情況是由于配置了 jvmRoute 所緻，以個人了解，配置了此屬性後， apache-server 會根據 session 情況來進行路由，同一個 session 會轉發給同一個伺服器。

6) 打開一個新的 IE 視窗，并通路 http://localhost/test/test.jsp

 新視窗的請求轉發到了 tomcat2 伺服器， session 的 id 為 DD9E6C8181653B9BCCF534FC8760B264.tomcat2 ，根據測試結果可以說明，在不發生伺服器關閉的情況下，每個 session 會綁定到同一個伺服器中，而不會在伺服器間發生複制。

四、總結

介紹完上面的叢集技術之後，下面就基于Tomcat的叢集架構方案進行說明：

1. 使用者的網頁浏覽器做完本地 DNS和企業授權的DNS之的請求/響應後，這時候企業授權的DNS（即21cn BOSS DNS）會給使用者本地的DNS伺服器提供一個NAT請求配置設定器（即網關）IP。 

2. NAT配置設定器，它會根據特定的配置設定算法，來決定要将連接配接交給哪一台内部 Apache httpd來處理請求。大多數的NAT請求配置設定器提供了容錯能力：根據偵測各種WEB伺服器的失效狀況，停止将請求配置設定給已經宕掉的伺服器。并且有些配置設定 器還可以監測到WEB伺服器機器的負載情況，并将請求配置設定給負載最輕的伺服器等等。Linux Virtual Server是一個基于Linux作業系統上執行的VS-NAT開源軟體套件，而且它有豐富的功能和良好的說明檔案。商業硬體解決方案 Foundry Networks的ServerIron是目前業界公認最佳的請求配置設定器之一。 

3. Apache httpd + Mod_JK2在這裡是作為負載均衡器，那為什麼要做叢集呢？如果叢集系統要具備容錯能力，以便在任何單一的硬體或軟體元件失效時還能100%可用，那麼 叢集系統必須沒有單點故障之憂。是以，不能隻架設一台有mod_jk2的Apache httpd，因為如果 httpd或mod_jk2失效了，将不會再有請求被會送交到任何一個Tomcat 執行個體。這種情況下，Apache httpd就是瓶勁，特别在通路量大的網站。 

4. Mod_JK2負載均衡與故障複原，決定把Apache httpd當成web伺服器，而且使用mod_jk2将請求傳送給Tomcat，則可以使用mod_jk2的負載均衡與容錯功能。在叢集系統中，帶有 mod_jk2的Apache httpd可以做的事情包括：

A 将請求配置設定至一或多個Tomcat執行個體上你可以在mod_jk2的workers.properties檔案中，設定許多Tomcat執行個體，并賦于每個執行個體一個lb_factor值，以作為請求配置設定的權重因子。 

B. 偵測Tomcat執行個體是否失敗當Tomcat執行個體的連接配接器服務不再響應時，mod_jk2會及時偵測到，并停止将請求送給它。其他的Tomcat執行個體則會接受失效執行個體的負載。 

C. 偵測Tomcat執行個體在失效後的何時恢複因連接配接器服務失效，而停止将請求配置設定給Tomcat執行個體之後，mod_jk2會周期性地檢查是否已恢複使用性，并自動将其加入現行的Tomcat執行個體池中。

5. Tomcat中的叢集原理是通過多點傳播的方式進行節點的查找并使用TCP連接配接進行會話的複制。這裡提示一下就是，對每個請求的處理，Tomcat都會進行會話複制，複制後的會話将會慢慢變得龐大。 

6. Mod_jk2同時支援會話親和和會話複制。在tomcat 5中如何實作會話親和和會話複制？把server.xml中的标簽去掉就實作會話親和，把标簽加上就實作會話複制。 

7. 會話親和：就是表示來自同會話的所有請求都由相同的Tomcat 執行個體來處理，這種情況下，如果Tomcat執行個體或所執行的伺服器機器失效，也會喪失Servlet的會話資料。即使在叢集系統中執行更多的Tomcat實 例，也永遠不會複制會話資料。這樣是提高叢集性能的一種方案，但不具備有容錯能力了。 

8. 使用會話複制，則當一個Tomcat執行個體宕掉時，由于至少還有另一個Tomcat執行個體保有一份會話狀态資料，因而資料不會喪失。但性能會有所降低。