天天看點

Hive使用HAProxy配置HA安裝配置添加配置檔案如何啟動如何使用

haproxy是一款提供高可用性、負載均衡以及基于tcp(第四層)和http(第七層)應用的代理軟體,haproxy是完全免費的、借助haproxy可以快速并且可靠的提供基于tcp和http應用的代了解決方案。

免費開源,穩定性也是非常好,這個可通過我做的一些小項目可以看出來,單haproxy也跑得不錯,穩定性可以與硬體級的f5相媲美。 根據官方文檔,haproxy可以跑滿10gbps-new benchmark of haproxy at 10 gbps using myricom’s 10gbe nics (myri-10g pci-express),這個數值作為軟體級負載均衡器是相當驚人的。

haproxy 支援連接配接拒絕 : 因為維護一個連接配接的打開的開銷是很低的,有時我們很需要限制攻擊蠕蟲(attack bots),也就是說限制它們的連接配接打開進而限制它們的危害。 這個已經為一個陷于小型ddos攻擊的網站開發了而且已經拯救了很多站點,這個優點也是其它負載均衡器沒有的。

haproxy 支援全透明代理(已具備硬體防火牆的典型特點): 可以用用戶端ip位址或者任何其他位址來連接配接後端伺服器. 這個特性僅在linux 2.4/2.6核心打了cttproxy更新檔後才可以使用. 這個特性也使得為某特殊伺服器處理部分流量同時又不修改伺服器的位址成為可能。

haproxy現多于線上的mysql叢集環境,我們常用于它作為mysql(讀)負載均衡;

自帶強大的監控伺服器狀态的頁面,實際環境中我們結合nagios進行郵件或短信報警,這個也是我非常喜歡它的原因之一;

haproxy支援虛拟主機,許多朋友說它不支援虛拟主機是錯誤的,通過測試我們知道,haproxy是支援虛拟主機的。

haproxy特别适用于那些負載特大的web站點, 這些站點通常又需要會話保持或七層處理。haproxy運作在目前的硬體上,完全可以支援數以萬計的并發連接配接。并且它的運作模式使得它可以很簡單安全的整合進您目前的架構中, 同時可以保護你的web伺服器不被暴露到網絡上。

在/opt/haproxy-1.4.24目錄下建立一個config.cfg檔案,添加如下内容:

在haproxy目錄下執行如下指令:

在hive-server或者hive-server2中jdbc的連接配接資訊修改url和port,如hive-server2:

上面<code>haproxy.hostname</code>為你安裝haproxy的機器名;<code>haproxy.hive.bind.port</code>為<code>conf.cfg</code>中定義的監聽hive的端口(上面中定義的為10001)