聲明：
此篇文章，涉及到東西比較多，文章比較長，适合耐心的童鞋們閱讀，生産環境部署可參考此篇文章。
Codis 并不太适合 key 少，但是 value 特别大的應用， 而且你的 key 越少， value 越大，最後就會退化成單個 redis 的模型 （性能還不如 raw redis），是以 Codis 更适合海量 Key, value比較小 （<= 1 MB) 的應用。
codis-proxy 提供連接配接叢集redis服務的入口
codis-redis-group 實作redis讀寫的水準擴充，高性能
codis-redis 實作redis執行個體服務，通過codis-ha實作服務的高可用
實驗環境：
網絡拓撲圖：https://www.gliffy.com/go/publish/4767058
群集架構圖：https://www.gliffy.com/go/publish/4640202
機器與應用清單：
System version: CentOS 6.5
IP: 192.168.43.130 hostname: vmware-130
apps: keepalived + haproxy Master, zookeeper_1, codis_proxy_1, codis_config, codis_server_master,slave
IP: 192.168.43.131 hostname: vmware-131
apps: zookeeper_2, codis_proxy_2, codis_server_master,slave
IP: 192.168.43.132 hostname: vmware-132
apps: keepalived + haproxy Backup, zookeeper_3, codis_proxy_3, codis_server_master,slave
VIP: 192.168.43.100 Port: 45001
備注：由于是虛拟測試環境，非生産環境，是以一台機器跑多個應用，如應用于生産環境，隻需把應用分開部署到相應機器上即可。
一、初始化CentOS系統
1. 使用鏡像站點配置好的yum安裝源配置檔案
cd /etc/yum.repos.d/
/bin/mv CentOS-Base.repo CentOS-Base.repo.bak
wget http://mirrors.163.com/.help/CentOS6-Base-163.repo
接下來執行如下指令，檢測yum是否正常
yum clean all #清空yum緩存
yum makecache #建立yum緩存
然後使用如下指令将系統更新到最新
rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY* #導入簽名KEY到RPM
yum upgrade -y #更新系統核心到最新
2. 關閉不必要的服務
for sun in `chkconfig --list|grep 3:on|awk '{print $1}'`;do chkconfig --level 3 $sun off;done
for sun in `chkconfig --list|grep 5:on|awk '{print $1}'`;do chkconfig --level 5 $sun off;done
for sun in crond rsyslog sshd network;do chkconfig --level 3 $sun on;done
for sun in crond rsyslog sshd network;do chkconfig --level 5 $sun on;done
3. 安裝依賴包
yum install -y gcc make g++ gcc-c++ automake lrzsz openssl-devel zlib-* bzip2-* readline* zlib-* bzip2-*
4. 建立軟體存放目錄
mkdir /data/packages
5. 軟體包版本以及下載下傳位址：
jdk1.8.0_45
zookeeper-3.4.6
go1.4.2
pcre-8.37
haproxy-1.4.22
keepalived-1.4.26
cd /data/packages
wget http://apache.fayea.com/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz
wget http://golangtc.com/static/go/go1.4.2.linux-amd64.tar.gz
wget ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.37.tar.gz
wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
通過浏覽器自行下載下傳:
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
http://www.haproxy.org/download/1.4/src/haproxy-1.4.26.tar.gz
6. 重新開機系統
[root@vmware-130 ~]# init 6
二、部署Zookeeper群集
1.配置hosts檔案 ( zookeeper節點機器上配置 )
[root@vmware-130 ~]# vim /etc/hosts
192.168.43.130 vmware-130
192.168.43.131 vmware-131
192.168.43.132 vmware-132
2.安裝java 壞境 ( zookeeper節點機器上配置 )
[root@vmware-130 ~]# cd /data/packages
[root@vmware-130 packages ]# tar zxvf jdk-8u45-linux-x64.tar.gz -C /usr/local
[root@vmware-130 packages ]# cd /usr/local
[root@vmware-130 local ]# ln -s jdk1.8.0_45 java
3. 安裝Zookeeper ( zookeeper節點機器上配置 )
cd /data/packages
tar zxvf zookeeper-3.4.6.tar.gz -C /usr/local
ln -s zookeeper-3.4.6 zookeeper
cd /usr/local/zookeeper/
4.設定環境變量 ( zookeeper節點機器上配置 )
vim /etc/profile
JAVA_HOME=/usr/local/java
JRE_HOME=$JAVA_HOME/jre
ZOOKEEPER_HOME=/usr/local/zookeeper
JAVA_FONTS=/usr/local/java/jre/lib/fonts
CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin
export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME
#生效環境變量
source /etc/profile
5. 修改zookeeper配置檔案 ( zookeeper節點機器上配置 )
vi /usr/local/zookeeper/conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
clientPort=2181
autopurge.snapRetainCount=500
autopurge.purgeInterval=24
dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
server.1=192.168.43.130:2888:3888
server.2=192.168.43.131:2888:3888
server.3=192.168.43.132:2888:3888
#建立資料目錄和日志目錄 ( zookeeper節點機器上配置 )
mkdir -p /data/zookeeper/data
mkdir -p /data/zookeeper/logs
6. 在zookeeper節點機器上建立myid檔案，節點對應id
在43.130機器上建立myid，并設定為1與配置檔案zoo.cfg裡面server.1對應。
echo "1" > /data/zookeeper/data/myid
在43.131機器上建立myid，并設定為1與配置檔案zoo.cfg裡面server.2對應。
echo "2" > /data/zookeeper/data/myid
在43.132機器上建立myid，并設定為1與配置檔案zoo.cfg裡面server.3對應。
echo "3" > /data/zookeeper/data/myid
7. 啟動zookeeper服務, 以vmware-130為例：
[root@vmware-130 ~]# zkServer.sh start
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
8.檢查zookeeper所有節點狀态
[root@vmware-130 ~]# zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg
Mode: follower
[root@vmware-131 ~]# zkServer.sh status
[root@vmware-132 ~]# zkServer.sh status
Mode: leader
二、部署Codis群集
1. 安裝 go 語言環境 ( 所有codis機器上配置 )
/data/packages
tar zxvf go1.4.2.linux-amd64.tar.gz -C /usr/local
2. 添加GO環境變量，其他環境變量不變。
GOROOT=/usr/local/go
GOPATH=/usr/local/codis
PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$ZOOKEEPER_HOME/bin:$GOROOT/bin
export JAVA_HOME PATH CLASSPATH JRE_HOME ZOOKEEPER_HOME GOROOT GOPATH
3. 安裝codis ( 所有codis機器上配置 )
yum install -y git
go get github.com/wandoulabs/codis
cd $GOPATH/src/github.com/wandoulabs/codis
#執行編譯測試腳本，編譯go和reids。
./bootstrap.sh
make gotest
# 将編譯好後，把bin目錄和一些腳本複制過去/usr/local/codis目錄下：
mkdir -p /usr/local/codis/{logs,conf,scripts} #建立codis日志，配置檔案，腳本目錄
mkdir -p /data/codis_server/{logs,conf,data} #建立codis_server 日志，配置檔案，資料目錄
cp -rf bin /usr/local/codis/ #複制bin目錄到自定義的安裝目錄
cp sample/config.ini /usr/local/codis/conf/ #複制模闆配置檔案到安裝目錄
cp sample/redis_conf/6381.conf /data/codis_server/conf/ #複制codis_server配置檔案到配置目錄
cp -rf /usr/local/codis/src/github.com/wandoulabs/codis/sample/usage.md /usr/local/codis/scripts/ #複制模闆啟動流程檔案到腳本目錄下
4. 配置codis_proxy_1 ( vmware-130 機器上配置)
cd /usr/local/codis
vim config.ini
zk=vmware-130:2181,vmware-131:2181,vmware-132:2181
product=codis
proxy_id=codis_proxy_1
net_timeout=5
dashboard_addr=192.168.43.130:18087
coordinator=zookeeper
配置codis_proxy_1 ( vmware-131 機器上配置)
proxy_id=codis_proxy_2
配置codis_proxy_1 ( vmware-132 機器上配置)
proxy_id=codis_proxy_3
5. 修改配置檔案，啟動codis-server服務. ( 所有codis-server機器上 )
cd /data/codis_server/conf/
mv 6381.conf 6379.conf
vim 6379.conf
修改如下參數: (生産環境，參數适當進行調整)
daemonize yes
pidfile /var/run/redis_6379.pid
port 6379
logfile "/data/codis_server/logs/codis_6379.log"
save 900 1
save 300 10
save 60 10000
dbfilename 6379.rdb
dir /data/codis_server/data
複制6380配置檔案
cp 6379.conf 6380.conf
sed -i 's/6379/6380/g' 6380.conf
添加核心參數
echo "vm.overcommit_memory = 1" >> /etc/sysctl.conf
sysctl -p
啟動codis-server服務 ( 所有codis-server機器上 )
/usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf
/usr/local/codis/bin/codis-server /data/codis_server/conf/6380.conf
6. 檢視一下啟動流程：( 以vmware-130機器為例 )
[root@vmware-130 ~]# cat /usr/local/codis/scripts/usage.md
0. start zookeeper //啟動zookeeper服務
1. change config items in config.ini //修改codis配置檔案
2. ./start_dashboard.sh //啟動 dashboard
3. ./start_redis.sh //啟動redis執行個體
4. ./add_group.sh //添加redis組，一個redis組隻能有一個master
5. ./initslot.sh //初始化槽
6. ./start_proxy.sh //啟動codis_proxy
7. ./set_proxy_online.sh //上線proxy項目
8. open browser to http://localhost:18087/admin //通路管理界面
這隻是一個參考，有些順序不是必須的，但啟動dashboard前，必須啟動zookeeper服務，這是必須的，後面有很多操作，都可以在管理頁面完成，例如添加/删除組、資料分片、添加/删除redis執行個體等
7. 建立dashboard啟動腳本。可參考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模闆腳本( 隻需在一台機器上啟動即可。43.130上啟動 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/start_dashboard.sh
#!/bin/sh
CODIS_HOME=/usr/local/codis
nohup $CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/dashboard.log dashboard --addr=:18087 --http-log=$CODIS_HOME/logs/requests.log &>/dev/null &
啟動dashboard
[root@vmware-130 ~]# cd /usr/local/codis/scripts/
[root@vmware-130 scripts ]# sh start_dashboard.sh
8. 建立初始化槽腳本，可參考/usr/local/codis/src/github.com/wandoulabs/codis/sample/模闆腳本( 在任一台機器上機器上配置，此環境在43.130機器上配置 )
[root@vmware-130 ~]# vim /usr/local/codis/scripts/initslot.sh
CODIS_HOME=/usr/local/codis
echo "slots initializing..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini slot init -f
echo "done"
執行初始化槽腳本：
[root@vmware-130 ~]# cd /usr/local/codis/scripts
[root@vmware-130 scripts ]# sh initslot.sh
9. 配置codis-server,啟動codis-server master , slave 執行個體 ，以上步驟已經啟動，不在描述。
10. 通過管理頁面添加組ID，為組添加主從執行個體，一個組裡隻能有一個master，設定slot分片資料等。
http://192.168.43.130:18087（最好用Firefox浏覽器或者谷歌浏覽器，别的浏覽器比較坑爹！！！）
如下圖所示：
接下來，依次添加 Server Group 1,2,3 ( 共添加3組 )
添加好後，圖為下：
接下來添加codis-server執行個體包括master ,slave
全部添加完成後，如下圖所示：
為組配置設定Slot(槽)範圍
group_1 0 - 511
group_2 512 - 1023
group_3 暫時不配置設定，以下測試中，用來遷移其他組使用。
如下圖操作所示：group_1 ( 0 - 511 )
添加成功後，頁面會顯示success視窗，如下圖所示。
如下圖操作所示：group_2 ( 512 - 1023 )
檢視整個Slots分布情況: 選擇 Slots Status 或者 右上角那個 Slots 都可以看到分布情況。
11. 配置codis-ha服務，主從自動切換。( 随便找個節點機器上配置即可,此環境中在43.131機器上配置 )
[root@vmware-131 ~]# go get github.com/ngaut/codis-ha
[root@vmware-131 ~]# cd /usr/local/codis/src/github.com/ngaut
[root@vmware-131 ~]# cp -r codis-ha /usr/local/
[root@vmware-131 ~]# cd /usr/local/codis-ha
[root@vmware-131 codis-ha ]# go build
建立啟動腳本，啟動codis-ha服務
[root@vmware-131 ~]# vim /usr/local/codis-ha/start_codis_ha.sh
./codis-ha --codis-config=192.168.43.130:18087 -log-level="info" --productName=vmware-Codis &> ./logs/codis-ha.log &
建立日志目錄
[root@vmware-131 ~]# mkdir /usr/local/codis-ha/logs
[root@vmware-131 ~]# cd /usr/local/codis-ha/
[root@vmware-131 codis-ha ]# sh start_codis_ha.sh
12. 修改start_proxy.sh，啟動codis-proxy服務 ( 以130機器配置為例，其餘codis-proxy隻需修改下名稱即可。)
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/start_proxy.sh
echo "shut down codis_proxy_1..."
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy offline codis_proxy_1
echo "done"
echo "start new codis_proxy_1..."
nohup $CODIS_HOME/bin/codis-proxy --log-level error -c $CODIS_HOME/conf/config.ini -L $CODIS_HOME/logs/codis_proxy_1.log --cpu=8 --addr=0.0.0.0:19000 --http-addr=0.0.0.0:11000 &
echo "sleep 3s"
sleep 3
tail -n 30 $CODIS_HOME/logs/codis_proxy_1.log
[root@vmware-130 scripts]# vim /usr/local/codis/scripts/set_proxy_online.sh
echo "set codis_proxy_1 online"
$CODIS_HOME/bin/codis-config -c $CODIS_HOME/conf/config.ini proxy online codis_proxy_1
啟動codis-proxy
./start_proxy.sh
上線codis_proxy_1
./set_proxy_online.sh
備注：其他codis_proxy隻需修改start_proxy.sh和set_proxy_online.sh啟動腳本裡面的codis_proxy_1名稱即可。
13. 通過redis-cli用戶端直接通路codis-proxy,寫入資料，看組裡面的master和slave 是否同步。
[root@vmware-130 scripts]# redis-cli -p 19000
127.0.0.1:19000> set mike liweizhong
OK
127.0.0.1:19000> set benet lwz
127.0.0.1:19000> exit
[root@vmware-130 scripts]#
通過管理界面看到如下圖所示：
codis-server master,slave 同步資料正常，slots槽分片資料正常。
接下來在通過codis-proxy去取資料看看。
127.0.0.1:19000> get mike
"liweizhong"
127.0.0.1:19000> get benet
"lwz"
[root@vmware-130 scripts]#
以下用shell簡單的寫了個插入redis資料腳本，此腳本會插入20W個key,每運作一次，需要調整INSTANCE_NAME參數裡面的數字，才可重新插入新資料。僅供測試使用：
[root@vmware-132 scripts]# cat redis-key.sh
#!/bin/bash
REDISCLI="redis-cli -h 192.168.43.131 -p 19000 -n 0 SET"
ID=1
while [ $ID -le 50000 ]
do
INSTANCE_NAME="i-2-$ID-VM"
UUID=`cat /proc/sys/kernel/random/uuid`
CREATED=`date "+%Y-%m-%d %H:%M:%S"`
$REDISCLI vm_instance:$ID:instance_name "$INSTANCE_NAME"
$REDISCLI vm_instance:$ID:uuid "$UUID"
$REDISCLI vm_instance:$ID:created "$CREATED"
$REDISCLI vm_instance:$INSTANCE_NAME:id "$ID"
ID=`expr $ID + 1`
done
執行插入腳本
[root@vmware-132 scripts]# sh redis-key.sh
通過管理界面，我們可以看到如下圖所示：
資料插完後，最終如下圖所示：
三、部署Keepalived + haproxy 高可用負載均衡
安裝haproxy、keepalived (43.130、43.132 機器上操作)
1.檢視系統核心是否支援 tproxy
[root@vmware-130 ~]# grep TPROXY /boot/config-`uname -r`
CONFIG_NETFILTER_TPROXY=m
CONFIG_NETFILTER_XT_TARGET_TPROXY=m
核心為2.6.32-220.el6.x86_64，支援TPROXY；
2.源碼安裝pcre-8.01
[root@vmware-130 ~]# rpm -qa|grep pcre
pcre-7.8-6.el6.x86_64
pcre-devel-7.8-6.el6.x86_64
系統已經rpm形式安裝了pcre，但安裝haproxy時，提示找不到pcre的庫檔案，看了haproxy的Makefile檔案，指定pcre的為/usr/local下，故再源碼安裝一個pcre-8.01，如下(如果不重新安裝，可以改makefile檔案或把庫檔案軟鍊到makefile檔案指定的路徑)
[root@vmware-130 ~]# tar -zxf pcre-8.37.tar.gz && cd pcre-8.37
[root@vmware-130 pcre-8.36 ]# ./configure --disable-shared --with-pic
[root@vmware-130 pcre-8.36 ]# make && make install
3.安裝 haproxy-1.4.22
[root@vmware-130 ~]# tar xf haproxy-1.4.26.tar.gz
[root@vmware-130 ~]# cd haproxy-1.4.26
[root@vmware-130 haproxy-1.4.26 ]# make TARGET=linux26 CPU=x86_64 USE_STATIC_PCRE=1 USE_LINUX_TPROXY=1
[root@vmware-130 haproxy-1.4.26 ]# make install target=linux26
[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /usr/local/haproxy/sbin
[root@vmware-130 haproxy-1.4.26 ]# mkdir -p /data/haproxy/{conf,run,logs}
[root@vmware-130 haproxy-1.4.26 ]# ln -s /usr/local/sbin/haproxy /usr/local/haproxy/sbin
4. 建立haproxy啟動腳本
[root@vmware-130 ~]# vim /etc/init.d/haproxy
# haproxy
# chkconfig: 35 85 15
# description: HAProxy is a free, very fast and reliable solution \
# offering high availability, load balancing, and \
# proxying for TCP and HTTP-based applications
# processname: haproxy
# config: /data/haproxy/conf/haproxy.cfg
# pidfile: /data/haproxy/run/haproxy.pid
# Source function library.
. /etc/rc.d/init.d/functions
# Source networking configuration.
. /etc/sysconfig/network
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
config="/data/haproxy/conf/haproxy.cfg"
exec="/usr/local/haproxy/sbin/haproxy"
prog=$(basename $exec)
[ -e /etc/sysconfig/$prog ] && . /etc/sysconfig/$prog
lockfile=/var/lock/subsys/haproxy
check() {
$exec -c -V -f $config
}
start() {
$exec -c -q -f $config
if [ $? -ne 0 ]; then
echo "Errors in configuration file, check with $prog check."
return 1
fi
echo -n $"Starting $prog: "
# start it up here, usually something like "daemon $exec"
daemon $exec -D -f $config -p /data/haproxy/run/$prog.pid
retval=$?
echo
[ $retval -eq 0 ] && touch $lockfile
return $retval
stop() {
echo -n $"Stopping $prog: "
# stop it here, often "killproc $prog"
killproc $prog
[ $retval -eq 0 ] && rm -f $lockfile
restart() {
stop
start
reload() {
echo -n $"Reloading $prog: "
$exec -D -f $config -p /data/haproxy/run/$prog.pid -sf $(cat /data/haproxy/run/$prog.pid)
force_reload() {
restart
fdr_status() {
status $prog
case "$1" in
start|stop|restart|reload)
$1
;;
force-reload)
force_reload
checkconfig)
check
status)
fdr_status
condrestart|try-restart)
[ ! -f $lockfile ] || restart
;;
*)
echo $"Usage: $0 {start|stop|status|checkconfig|restart|try-restart|reload|force-reload}"
exit 2
esac
備注：此腳本stop的時候有問題，有待解決。
#添加haproxy服務
[root@vmware-130 ~]# echo "net.ipv4.ip_nonlocal_bind = 1" >> /etc/rsysctl.conf
[root@vmware-130 ~]# sysctl -p
[root@vmware-130 ~]# chmod 755 /etc/init.d/haproxy
[root@vmware-130 ~]# chkconfig --add haproxy
[root@vmware-130 ~]# chkconfig haproxy on
5.安裝keepalived
[root@vmware-130 ~]# tar zxvf keepalived-1.2.16.tar.gz
[root@vmware-130 ~]# cd keepalived-1.2.16
[root@vmware-130 keepalived-1.2.16 ]# ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-504.16.2.el6.x86_64/
\\若/usr/src/kernels/目錄下為空，那麼安裝kernel-headers和kernel-devel包 yum install -y kernel-header kernel-devel
[root@vmware-130 keepalived-1.2.16 ]# make && make install
6.配置keepalived,添加keepalived 服務
[root@vmware-130 ~]# cp /usr/local/etc/rc.d/init.d/keepalived /etc/rc.d/init.d/
[root@vmware-130 ~]# cp /usr/local/etc/sysconfig/keepalived /etc/sysconfig/
[root@vmware-130 ~]# mkdir -p /data/keepalived/{conf,scripts}
[root@vmware-130 ~]# cp /usr/local/sbin/keepalived /usr/sbin/
[root@vmware-130 ~]# chkconfig --add keepalived
[root@vmware-130 ~]# chkconfig keepalived on
7. 配置haproxy.cfg配置檔案( 43.130, 43.132 配置，haproxy.cfg配置檔案完全一樣 )
[root@vmware-130 ~]# vim /usr/local/haproxy/conf/haproxy.cfg
########### 全局配置 #########
global
log 127.0.0.1 local0 err
chroot /usr/local/haproxy
daemon
nbproc 1
group nobody
user nobody
pidfile /usr/local/haproxy/run/haproxy.pid
ulimit-n 65536
#spread-checks 5m
#stats timeout 5m
#stats maxconn 100
######## 預設配置 ############
defaults
mode tcp #預設的模式mode { tcp|http|health }，tcp是4層，http是7層，health隻會傳回OK
retries 3 #兩次連接配接失敗就認為是伺服器不可用，也可以通過後面設定
option redispatch #當serverId對應的伺服器挂掉後，強制定向到其他健康的伺服器
option abortonclose #當伺服器負載很高的時候，自動結束掉目前隊列處理比較久的連結
maxconn 32000 #預設的最大連接配接數
timeout connect 5000ms #連接配接逾時
timeout client 30000ms #用戶端逾時
timeout server 30000ms #伺服器逾時
#timeout check 2000 #心跳檢測逾時
log 127.0.0.1 local3 err #[err warning info debug]
######## proxy 配置#################
listen proxy_status
bind 0.0.0.0:45001
mode tcp
balance roundrobin
server codis_proxy_1 192.168.43.130:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_2 192.168.43.131:19000 weight 1 maxconn 10000 check inter 10s
server codis_proxy_3 192.168.43.132:19000 weight 1 maxconn 10000 check inter 10s
######## 統計頁面配置 ########
listen admin_stats
bind 0.0.0.0:8099 #監聽端口
mode http #http的7層模式
option httplog #采用http日志格式
#log 127.0.0.1 local0 err
maxconn 10
stats refresh 30s #統計頁面自動重新整理時間
stats uri /stats #統計頁面url
stats realm XingCloud\ Haproxy #統計頁面密碼框上提示文本
stats auth admin:admin #統計頁面使用者名和密碼設定
stats hide-version #隐藏統計頁面上HAProxy的版本資訊
stats admin if TRUE
8. 配置keepalived.conf配置檔案 ( 43.130 上配置，43.132備用配置主要修改參數已經标注 )
[root@vmware-130 ~]# vim /data/keepalived/conf/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
}
notification_email_from [email protected]
smtp_connect_timeout 30
smtp_server 127.0.0.1
router_id HAProxy_DEVEL
}
vrrp_script chk_haproxy {
script "killall -0 haproxy"
interval 2
vrrp_instance HAProxy_HA {
state BACKUP
interface eth0
virtual_router_id 80
priority 100 #備用為90
advert_int 2
nopreempt #設定不強占，防止業務來回切換。
authentication {
auth_type PASS
auth_pass KJj23576hYgu23IP
}
track_interface {
eth0
virtual_ipaddress {
192.168.43.100
track_script {
chk_haproxy
#狀态通知
notify_master "/data/keepalived/scripts/mail_notify.py master"
notify_backup "/data/keepalived/scripts/mail_notify.py backup"
notify_fault "/data/keepalived/scripts/mail_notify.py fault"
\\拷貝主上面的keepalived.conf到從上，隻需修改priority值參數即可。
建立/data/keepalived/scripts/mail_notify.py郵件通知程式：
詳細請通路：http://liweizhong.blog.51cto.com/1383716/1639917
\\最後修改下通知資訊為英文，中文内容可能會投遞失敗。
# 配置haproxy日志
[root@vmware-130 ~]# vim /etc/rsyslog.d/haproxy.conf
$ModLoad imudp
$UDPServerRun 514
local3.* /data/haproxy/logs/haproxy.log
local0.* /data/haproxy/logs/haproxy.log
[root@vmware-130 ~]# vim /etc/sysconfig/rsyslog
SYSLOGD_OPTIONS="-c 2 -r -m 0"
[root@vmware-130 ~]# service rsyslog restart
9. 啟動haproxy、keepalived服務。(先啟動兩個haproxy服務，然後在依次啟動master、backup上的keepalived服務)
[root@vmware-130 ~]# service haproxy start ( 先啟動 haproxy 服務 )
[root@vmware-130 ~]# service keepalived start
10. 測試redis-cli用戶端通路
[root@vmware-130 ~]# redis-cli -h 192.168.43.130 -p 45001
備注：redis-cli 指令，codis裡面是沒有的，我是安裝redis服務的，隻是用codis而已。
到這裡，整個架構已經全部部署完成啦！！！
四、Codis 群集架構故障測試
備注：由于本環境在本地虛拟機上部署，占不涉及到性能測試。codis性能測試可使用redis-benchmark工具
1.停止任意zookeeper節點，檢查codis-proxy，dashboard是否正常.
[root@vmware-132 scripts]# zkServer.sh status
Mode: leader \\目前此節點提供服務
[root@vmware-132 scripts]# zkServer.sh stop \\停止此服務，模拟leader挂掉。
Stopping zookeeper ... STOPPED
檢查zookeeper其他節點是否重新選取 leader。
Mode: leader \\可以看到，vmware-131已經選舉為leader.
redis用戶端是否能正常通路到codis-proxy。
[root@vmware-130 logs]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> get mike
192.168.43.100:45001> get benet
192.168.43.100:45001> get id
"27"
192.168.43.100:45001> exit
[root@vmware-130 logs]#
dashboard管理界面是否正常。
打開浏覽器，通路 http://192.168.43.130:18087/admin/
2.停止group master,檢查group slave是否自動切換主
接下來，我們開始來模拟vmware-130機器上的codis-server master 6379端口挂掉
停止codis-master後，檢查codis-ha日志輸出如下資訊:
打開管理界面，檢視到如下資訊：
用戶端寫入新資料，切換後的主是否有新key增加。
[root@vmware-130 ~]# redis-cli -h 192.168.43.100 -p 45001
192.168.43.100:45001> set abc 123
192.168.43.100:45001> set def 456
192.168.43.100:45001> get abc
"123"
192.168.43.100:45001> get def
"456"
打開管理界面，檢視到keys增加兩個。
接下來我們恢複vmware-130 codis-server 6379
[root@vmware-130 ~]# /usr/local/codis/bin/codis-server /data/codis_server/conf/6379.conf
[root@vmware-130 ~]# ps -ef |grep codis-server
root 2121 1 0 Apr30 ? 00:02:15 /usr/local/codis/bin/codis-server *:6380
root 7470 1 21 16:58 ? 00:00:00 /usr/local/codis/bin/codis-server *:6379
root 7476 1662 0 16:58 pts/0 00:00:00 grep codis-server
這時，我們在管理界面看到如下情況：
備注：當master挂掉時候，redis-ha檢測到自動将slave切換為master,但是master恢複後，仍為offline，需要将其删除在添加，就可以成為slave.
按備注那樣，我們需要将原來的master 6379先删除，然後再次添加。操作完成後，如下圖所示：
3.通過dashboard管理界面添加codis-server組，線上遷移、擴充等。
添加新組，添加master,slave . \\此步省略，之前已經添加好group_3
通過Migrate Slot(s)選項，我們來遷移group_1組到group_3組：
為了模拟遷移是否會影響到業務，我在一台機器開啟插入資料腳本，
[root@vmware-132 scripts]# sh redis-key.sh \\腳本裡面連接配接codis群集請修改為虛拟IP.
現在又用戶端在實時插入資料，接下來通過管理界面操作步驟如下：
目前用戶端在不斷插入新資料，後端我們又在遷移組資料，那麼我們現在在來get資料看看是否正常。
可以看到後端在遷移資料，對業務通路不受影響。這點非常贊。
遷移完成後，如下圖所示：
4.模拟codis-proxy節點挂掉，看haproxy服務是否會剔除節點。
我們仍繼續用腳本插入資料，然後停止vmware-131上面的codis-proxy服務。
[root@vmware-132 scripts]# sh redis-key.sh
codis-proxy代理節點挂掉一個，haproxy自動剔除此節點，插入資料腳本由于之前連接配接的socket挂掉，會中斷重新連接配接新的socket. 業務正常通路。
以下為haproxy監控頁面資訊：
codis管理界面我們可以看到codis_proxy_2已經沒有顯示出來：
當codis_proxy_2恢複的時候，haproxy又自動加入此節點，并正常提供服務。
codis管理界面又正常顯示codis_proxy_2節點。
5.keepalived+haproxy群集故障測試
一、停止haproxy-master , 觀察/var/log/message日志
照樣啟動redis-key.sh插入資料腳本
停止 haproxy master
以下為截取到的日志資訊:
keepalived master 130 tail -f /var/log/message
keepalived backup 132 tail -f /var/log/message
插入資料腳本會出現中斷，然後又正常插入資料。
虛拟IP出現一次掉包，然後馬上恢複了。
二、恢複haproxy-master, 觀察/var/log/message日志，看是否被搶占，正常情況主haproxy恢複後，不會進行切換，防止業務來回切換。。。
接下來我們恢複haproxy-master
[root@vmware-130 logs]# service haproxy start
Starting haproxy: [ OK ]
tail -f /var/log/message
以上截圖我們可以看到恢複haproxy-master後，VIP不會進行漂移，keepalived進入BACKUP狀态，這是因為設定了nopreempt參數，不搶占，防止業務來回切換。。。
三、停止haproxy-backup, 觀察 /var/log/message日志，是否進行切換。
以上我們模拟了haproxy-master故障和恢複，現在我們再次模拟現在的haproxy-master也就是原先的haproxy-backup.
模拟haproxy-backup程序挂掉：
VIP進行了漂移，keepalived也切換身份。
再次恢複haproxy-backup ,VIP不進行漂移，與以上類似，不在描述。
四、模拟keepalived程序挂掉
keepalived-master 挂掉，keepalived主備切換，VIP進行漂移。
當keepalived-master恢複時，直接進入BACKUP狀态，不進行主備切換，VIP不漂移。
參考連結：
https://github.com/wandoulabs/codis
https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md
http://0xffff.me/blog/2014/11/11/codis-de-she-ji-yu-shi-xian-part-2/
http://www.cnblogs.com/xuanzhi201111/p/4425194.html
http://blog.csdn.net/freewebsys/article/details/44100919
編寫者： 李惟忠
時 間： 2015-05-01
獻給正打算使用codis架構的童鞋們