防僞碼：舉杯邀明月，對影成三人。
MHA（Master High Availability）目前在MySQL高可用方面是一個相對成熟的解決方案，它由日本DeNA公司youshimaton（現就職于Facebook公司）開發，是一套優秀的作為MySQL高可用性環境下故障切換和主從提升的高可用軟體。在MySQL故障切換過程中，MHA能做到在0~30秒之内自動完成資料庫的故障切換操作，并且在進行故障切換的過程中，MHA能在最大程度上保證資料的一緻性，以達到真正意義上的高可用。
MHA裡有兩個角色一個是MHA Node（資料節點）另一個是MHA Manager（管理節點）。
MHA Manager可以單獨部署在一台獨立的機器上管理多個master-slave叢集，也可以部署在一台slave節點上。MHA Node運作在每台MySQL伺服器上，MHA Manager會定時探測叢集中的master節點，當master出現故障時，它可以自動将最新資料的slave提升為新的master，然後将所有其他的slave重新指向新的master。整個故障轉移過程對應用程式完全透明。
在MHA自動故障切換過程中，MHA試圖從當機的主伺服器上儲存二進制日志，最大程度的保證資料的不丢失，但這并不總是可行的。例如，如果主伺服器硬體故障或無法通過ssh通路，MHA沒法儲存二進制日志，隻進行故障轉移而丢失了最新的資料。使用MySQL
5.5的半同步複制，可以大大降低資料丢失的風險。MHA可以與半同步複制結合起來。如果隻有一個slave已經收到了最新的二進制日志，MHA可以将最新的二進制日志應用于其他所有的slave伺服器上，是以可以保證所有節點的資料一緻性。
注：從MySQL5.5開始，MySQL以插件的形式支援半同步複制。如何了解半同步呢？首先我們來看看異步，全同步的概念：
異步複制（Asynchronous replication）
MySQL預設的複制即是異步的，主庫在執行完用戶端送出的事務後會立即将結果返給給用戶端，并不關心從庫是否已經接收并處理，這樣就會有一個問題，主如果crash掉了，此時主上已經送出的事務可能并沒有傳到從上，如果此時，強行将從提升為主，可能導緻新主上的資料不完整。
全同步複制（Fully synchronous replication）
指當主庫執行完一個事務，所有的從庫都執行了該事務才傳回給用戶端。因為需要等待所有從庫執行完該事務才能傳回，是以全同步複制的性能必然會收到嚴重的影響。
半同步複制（Semisynchronous replication）
介于異步複制和全同步複制之間，主庫在執行完用戶端送出的事務後不是立刻傳回給用戶端，而是等待至少一個從庫接收到并寫到relay log中才傳回給用戶端。相對于異步複制，半同步複制提高了資料的安全性，同時它也造成了一定程度的延遲，這個延遲最少是一個TCP/IP往返的時間。是以，半同步複制最好在低延時的網絡中使用。
下面來看看半同步複制的原理圖：
總結：異步與半同步異同
預設情況下MySQL的複制是異步的，Master上所有的更新操作寫入Binlog之後并不確定所有的更新都被複制到Slave之上。異步操作雖然效率高，但是在Master/Slave出現問題的時候，存在很高資料不同步的風險，甚至可能丢失資料。
MySQL5.5引入半同步複制功能的目的是為了保證在master出問題的時候，至少有一台Slave的資料是完整的。在逾時的情況下也可以臨時轉入異步複制，保障業務的正常使用，直到一台salve追趕上之後，繼續切換到半同步模式。
工作原理
相較于其它HA軟體，MHA的目的在于維持MySQL Replication中Master庫的高可用性，其最大特點是可以修複多個Slave之間的差異日志，最終使所有Slave保持資料一緻，然後從中選擇一個充當新的Master，并将其它Slave指向它。
-從當機崩潰的master儲存二進制日志事件(binlogevents)。
-識别含有最新更新的slave。
-應用差異的中繼日志(relay log)到其它slave。
-應用從master儲存的二進制日志事件(binlogevents)。
-提升一個slave為新master。
-使其它的slave連接配接新的master進行複制。
目前MHA主要支援一主多從的架構，要搭建MHA,要求一個複制叢集中必須最少有三台資料庫伺服器，一主二從，即一台充當master，一台充當備用master，另外一台充當從庫，因為至少需要三台伺服器。
接下來部署MHA，具體的搭建環境如下
| 角色 | IP位址 | 主機名 | Server id | 類型 | os |
| Manager | 192.168.1.101 | Centos1 | 管理節點 | Centos6.5x86_64 | |
| Master | 192.168.1.102 | Centos2 | 1 | 主mysql(寫入) | |
| Candicate master | 192.168.1.103 | Centos3 | 2 | 從mysql(讀) | |
| slave | 192.168.1.104 | Centos4 | 3 |
其中master對外提供寫服務，備選master（實際的slave，主機名centos3）提供讀服務，slave也提供相關的讀服務，一旦master當機，将會把備選master提升為新的master，slave指向新的master，manager作為管理伺服器。
一、基礎環境準備
1、 在配置好IP位址後檢查selinux，iptables設定，關閉 selinux ，iptables 服務以便後期主從同步不出錯
注：時間要同步
2、在四台機器都配置epel源
3、建立ssh無互動登入環境
Manager主機：
Master主機：
同上。
Candicatemaster主機：
Slave主機：
測試ssh無互動登入
在其他主機上執行同樣的測試操作。
4、配置hosts環境
檢視每台主機的hosts檔案
二、配置mysql半同步複制
為了盡可能的減少主庫硬體損壞當機造成的資料丢失，是以在配置MHA的同時建議配置成MySQL的半同步複制。
注：mysql半同步插件是由谷歌提供，具體位置/usr/local/mysql/lib/plugin/下，一個是master用的semisync_master.so，一個是slave用的semisync_slave.so，下面我們就來具體配置一下。
如果不清楚Plugin的目錄，用如下查找：
1、分别在主從節點上安裝相關的插件（master,Candicatemaster,slave）
在MySQL上安裝插件需要資料庫支援動态載入。檢查是否支援，用如下檢測：
所有mysql資料庫伺服器，安裝半同步插件(semisync_master.so,semisync_slave.so)
其他mysql主機采用同樣的方法安裝
檢查Plugin是否已正确安裝：
mysql> show plugins;
或
mysql> select * from information_schema.plugins;
檢視半同步相關資訊
上圖可以看到半同複制插件已經安裝，隻是還沒有啟用，是以是off
2、修改my.cnf檔案，配置主從同步：
注：若主MYSQL伺服器已經存在，隻是後期才搭建從MYSQL伺服器，在置配資料同步前應先将主MYSQL伺服器的要同步的資料庫拷貝到從MYSQL伺服器上（如先在主MYSQL上備份資料庫，再用備份在從MYSQL伺服器上恢複）
master mysql主機：
server-id = 1
log-bin=mysql-bin
binlog_format=mixed
log-bin-index=mysql-bin.index
rpl_semi_sync_master_enabled=1
rpl_semi_sync_master_timeout=1000
rpl_semi_sync_slave_enabled=1
relay_log_purge=0
relay-log = relay-bin
relay-log-index = slave-relay-bin.index
注：
rpl_semi_sync_master_enabled=1 1表是啟用，0表示關閉
rpl_semi_sync_master_timeout=10000：毫秒機關，該參數主伺服器等待确認消息10秒後，不再等待，變為異步方式。
Candicate master主機：
server-id = 2
rpl_semi_sync_master_timeout=10000
注：relay_log_purge=0，禁止 SQL 線程在執行完一個 relay log 後自動将其删除，對于MHA場景下，對于某些滞後從庫的恢複依賴于其他從庫的relay
log，是以采取禁用自動删除功能
Server-id = 3
log-bin = mysql-bin
read_only = 1
mysql>show variables like ‘%
檢視半同步狀态：
mysql>show status like ‘%rpl_semi_sync%’;
有幾個狀态參數值得關注的：
rpl_semi_sync_master_status ：顯示主服務是異步複制模式還是半同步複制模式
rpl_semi_sync_master_clients ：顯示有多少個從伺服器配置為半同步複制模式
rpl_semi_sync_master_yes_tx ：顯示從伺服器确認成功送出的數量
rpl_semi_sync_master_no_tx ：顯示從伺服器确認不成功送出的數量
rpl_semi_sync_master_tx_avg_wait_time ：事務因開啟 semi_sync ，平均需要額外等待的時間
rpl_semi_sync_master_net_avg_wait_time ：事務進入等待隊列後，到網絡平均等待時間
master主機：
第一條grant指令是建立一個用于主從複制的帳号，在master和candicate master的主機上建立即可。
第二條grant指令是建立MHA管理賬号，所有mysql伺服器上都需要執行。MHA會在配置檔案裡要求能遠端登入到資料庫，是以要進行必要的賦權。
檢視從的狀态，以下兩個值必須為yes,代表從伺服器能正常連接配接主伺服器
Slave_IO_Running:Yes
Slave_SQL_Running:Yes
檢視master伺服器的半同步狀态：
三、配置mysql-mha
mha包括manager節點和data節點，data節點包括原有的MySQL複制結構中的主機，至少3台，即1主2從，當masterfailover後，還能保證主從結構；隻需安裝node包。manager server：運作監控腳本，負責monitoring
和 auto-failover；需要安裝node包和manager包。
1、 在所有主機上安裝mha所依賴的軟體包
2、 以下操作管理節點需要兩個都安裝， 在3台資料庫節點隻要安裝MHA的node節點：
在所有資料庫節點上安裝mha4mysql-node-0.56.tar.gz
其他兩個資料節點也安裝mha4mysql-node-0.56.tar.gz（過程略）
在管理節點需要兩個都安裝：mha4mysql-node-0.56.tar.gz和mha4mysql-manager-0.56.tar.gz
安裝mha4mysql-node-0.56.tar.gz
make && make install
根據提示輸入。
3、 配置mha
與絕大多數Linux應用程式類似，MHA的正确使用依賴于合理的配置檔案。MHA的配置檔案與mysql的my.cnf檔案配置相似，采取的是param=value的方式來配置，配置檔案位于管理節點，通常包括每一個mysql
server的主機名，mysql使用者名，密碼，工作目錄等等。
編輯/etc/masterha/app1.conf，内容如下：
此處補加一下：
[server3]
hostname=192.168.1.104
port=3306
master_binlog_dir=/usr/local/mysql/data/
candidate_master=1
儲存退出
配關配置項的解釋：
manager_workdir=/masterha/app1 //設定manager的工作目錄
manager_log=/masterha/app1/manager.log //設定manager的日志
user=manager//設定監控使用者manager
password=123456 //監控使用者manager的密碼
ssh_user=root //ssh連接配接使用者
repl_user=mharep //主從複制使用者
repl_password=123.abc //主從複制使用者密碼
ping_interval=1 //設定監控主庫，發送ping包的時間間隔，預設是3秒，嘗試三次沒有回應的時候自動進行railover
master_binlog_dir=/usr/local/mysql/data //設定master 儲存binlog的位置，以便MHA可以找到master的日志，我這裡的也就是mysql的資料目錄
candidate_master=1//設定為候選master，如果設定該參數以後，發生主從切換以後将會将此從庫提升為主庫。
SSH 有效性驗證：
[root@centos1 ~]# masterha_check_ssh --global_conf=/etc/masterha/masterha_default.cnf --conf=/etc/masterha/app1.cnf
Wed Sep 28 21:34:50 2016 - [info] Reading default configuration from /etc/masterha/masterha_default.cnf..
Wed Sep 28 21:34:50 2016 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Wed Sep 28 21:34:50 2016 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Wed Sep 28 21:34:50 2016 - [info] Starting SSH connection tests..
Wed Sep 28 21:34:50 2016 - [debug]
Wed Sep 28 21:34:50 2016 - [debug] Connecting via SSH from [email protected](192.168.1.102:22) to [email protected](192.168.1.103:22)..
Wed Sep 28 21:34:50 2016 - [debug] ok.
Wed Sep 28 21:34:50 2016 - [debug] Connecting via SSH from [email protected](192.168.1.102:22) to [email protected](192.168.1.104:22)..
Wed Sep 28 21:34:51 2016 - [debug]
Wed Sep 28 21:34:50 2016 - [debug] Connecting via SSH from [email protected](192.168.1.103:22) to [email protected](192.168.1.102:22)..
Wed Sep 28 21:34:50 2016 - [debug] Connecting via SSH from [email protected](192.168.1.103:22) to [email protected](192.168.1.104:22)..
Wed Sep 28 21:34:51 2016 - [debug] ok.
Wed Sep 28 21:34:51 2016 - [debug] Connecting via SSH from [email protected](192.168.1.104:22) to [email protected](192.168.1.102:22)..
Wed Sep 28 21:34:51 2016 - [debug] Connecting via SSH from [email protected](192.168.1.104:22) to [email protected](192.168.1.103:22)..
Wed Sep 28 21:34:51 2016 - [info] All SSH connection tests passed successfully.
叢集複制的有效性驗證：
mysql必須都啟動
[root@centos1 ~]# masterha_check_repl --global_conf=/etc/masterha/masterha_default.cnf --conf=/etc/masterha/app1.cnf
Wed Sep 28 21:38:21 2016 - [info] Reading default configuration from /etc/masterha/masterha_default.cnf..
Wed Sep 28 21:38:21 2016 - [info] Reading application default configuration from /etc/masterha/app1.cnf..
Wed Sep 28 21:38:21 2016 - [info] Reading server configuration from /etc/masterha/app1.cnf..
Wed Sep 28 21:38:21 2016 - [info] MHA::MasterMonitor version 0.56.
Wed Sep 28 21:38:21 2016 - [info] GTID failover mode = 0
Wed Sep 28 21:38:21 2016 - [info] Dead Servers:
Wed Sep 28 21:38:21 2016 - [info] Alive Servers:
Wed Sep 28 21:38:21 2016 - [info] 192.168.1.102(192.168.1.102:3306)
Wed Sep 28 21:38:21 2016 - [info] 192.168.1.103(192.168.1.103:3306)
Wed Sep 28 21:38:21 2016 - [info] 192.168.1.104(192.168.1.104:3306)
Wed Sep 28 21:38:21 2016 - [info] Alive Slaves:
Wed Sep 28 21:38:21 2016 - [info] 192.168.1.103(192.168.1.103:3306) Version=5.5.38-log (oldest major version between slaves) log-bin:enabled
Wed Sep 28 21:38:21 2016 - [info] Replicating from 192.168.1.102(192.168.1.102:3306)
Wed Sep 28 21:38:21 2016 - [info] Primary candidate for the new Master (candidate_master is set)
Wed Sep 28 21:38:21 2016 - [info] 192.168.1.104(192.168.1.104:3306) Version=5.5.38-log (oldest major version between slaves) log-bin:enabled
Wed Sep 28 21:38:21 2016 - [info] Not candidate for the new Master (no_master is set)
Wed Sep 28 21:38:21 2016 - [info] Current Alive Master: 192.168.1.102(192.168.1.102:3306)
Wed Sep 28 21:38:21 2016 - [info] Checking slave configurations..
Wed Sep 28 21:38:21 2016 - [info] read_only=1 is not set on slave 192.168.1.103(192.168.1.103:3306).
Wed Sep 28 21:38:21 2016 - [warning] relay_log_purge=0 is not set on slave 192.168.1.104(192.168.1.104:3306).
Wed Sep 28 21:38:21 2016 - [info] Checking replication filtering settings..
Wed Sep 28 21:38:21 2016 - [info] binlog_do_db= , binlog_ignore_db=
Wed Sep 28 21:38:21 2016 - [info] Replication filtering check ok.
Wed Sep 28 21:38:21 2016 - [info] GTID (with auto-pos) is not supported
Wed Sep 28 21:38:21 2016 - [info] Starting SSH connection tests..
Wed Sep 28 21:38:23 2016 - [info] All SSH connection tests passed successfully.
Wed Sep 28 21:38:23 2016 - [info] Checking MHA Node version..
Wed Sep 28 21:38:23 2016 - [info] Version check ok.
Wed Sep 28 21:38:23 2016 - [info] Checking SSH publickey authentication settings on the current master..
Wed Sep 28 21:38:23 2016 - [info] HealthCheck: SSH to 192.168.1.102 is reachable.
Wed Sep 28 21:38:23 2016 - [info] Master MHA Node version is 0.56.
Wed Sep 28 21:38:23 2016 - [info] Checking recovery script configurations on 192.168.1.102(192.168.1.102:3306)..
Wed Sep 28 21:38:23 2016 - [info] Executing command: save_binary_logs --command=test --start_pos=4 --binlog_dir=/usr/local/mysql/data --output_file=/var/tmp/save_binary_logs_test --manager_version=0.56
--start_file=mysql-bin.000010
Wed Sep 28 21:38:23 2016 - [info] Connecting to [email protected](192.168.1.102:22)..
Creating /var/tmp if not exists..ok.
Checking output directory is accessible or not..
ok.
Binlog found at /usr/local/mysql/data, up to mysql-bin.000010
Wed Sep 28 21:38:23 2016 - [info] Binlog setting check done.
Wed Sep 28 21:38:23 2016 - [info] Checking SSH publickey authentication and checking recovery script configurations on all alive slave servers..
Wed Sep 28 21:38:23 2016 - [info] Executing command :apply_diff_relay_logs --command=test --slave_user='manager' --slave_host=192.168.1.103 --slave_ip=192.168.1.103 --slave_port=3306 --workdir=/var/tmp
--target_version=5.5.38-log --manager_version=0.56 --relay_log_info=/usr/local/mysql/data/relay-log.info --relay_dir=/usr/local/mysql/data/ --slave_pass=xxx
Wed Sep 28 21:38:23 2016 - [info] Connecting to [email protected](192.168.1.103:22)..
Checking slave recovery environment settings..
Opening /usr/local/mysql/data/relay-log.info ... ok.
Relay log found at /usr/local/mysql/data, up to relay-bin.000007
Temporary relay log file is /usr/local/mysql/data/relay-bin.000007
Testing mysql connection and privileges..done.
Testing mysqlbinlog output..done.
Cleaning up test file(s)..done.
Wed Sep 28 21:38:24 2016 - [info] Executing command :apply_diff_relay_logs --command=test --slave_user='manager' --slave_host=192.168.1.104 --slave_ip=192.168.1.104 --slave_port=3306 --workdir=/var/tmp
Wed Sep 28 21:38:24 2016 - [info] Connecting to [email protected](192.168.1.104:22)..
Wed Sep 28 21:38:24 2016 - [info] Slaves settings check done.
Wed Sep 28 21:38:24 2016 - [info]
192.168.1.102(192.168.1.102:3306) (current master)
+--192.168.1.103(192.168.1.103:3306)
+--192.168.1.104(192.168.1.104:3306)
Wed Sep 28 21:38:24 2016 - [info] Checking replication health on 192.168.1.103..
Wed Sep 28 21:38:24 2016 - [info] ok.
Wed Sep 28 21:38:24 2016 - [info] Checking replication health on 192.168.1.104..
Wed Sep 28 21:38:24 2016 - [warning] master_ip_failover_script is not defined.
Wed Sep 28 21:38:24 2016 - [warning] shutdown_script is not defined.
Wed Sep 28 21:38:24 2016 - [info] Got exit code 0 (Not master dead).
MySQL Replication Health is OK.
驗證成功的話會自動識别出所有伺服器和主從狀況
注：驗證成功的話會自動識别出所有伺服器和主從狀況
在驗證時，若遇到這個錯誤：Can't exec "mysqlbinlog" ......
解決方法是在所有伺服器上執行：
ln -s /usr/local/mysql/bin/* /usr/local/bin/
啟動 manager：
注：在應用Unix/Linux時，我們一般想讓某個程式在背景運作，于是我們将常會用&在程式結尾來讓程式自動運作。比如我們要運作mysql在背景：
/usr/local/mysql/bin/mysqld_safe –user=mysql&。可是有很多程式并不想mysqld一樣，這樣我們就需要nohup指令，
狀态檢查：
nohup masterha_check_status --conf=/etc/masterha/app1.cnf
故障轉移驗證：(自動failover)
master dead後，MHA當時已經開啟，候選Master庫（Slave）會自動failover為Master.
驗證的方式是先停掉 master（centos2），因為之前的配置檔案中，把Candicatemaster(centos3)作為了候選人，那麼就到 slave(centos4) 上檢視 master 的 IP 是否變為了
centos3 的 IP
1)停掉 master
在 master（192.168.1.102）上把mysql停掉
2)檢視 MHA 日志
上面的配置檔案中指定了日志位置為 /masterha/app1/manager.log
[root@centos1 ~]# cat /masterha/app1/manager.log
----- Failover Report -----
app1: MySQL Master failover 192.168.1.102(192.168.1.102:3306) to 192.168.1.103(192.168.1.103:3306) succeeded
Master 192.168.1.102(192.168.1.102:3306) is down!
Check MHA Manager logs at centos1.benet.com:/masterha/app1/manager.log for details.
Started automated(non-interactive) failover.
The latest slave 192.168.1.103(192.168.1.103:3306) has all relay logs for recovery.
Selected 192.168.1.103(192.168.1.103:3306) as a new master.
192.168.1.103(192.168.1.103:3306): OK: Applying all logs succeeded.
192.168.1.104(192.168.1.104:3306): This host has the latest relay log events.
Generating relay diff files from the latest slave succeeded.
192.168.1.104(192.168.1.104:3306): OK: Applying all logs succeeded. Slave started, replicating from 192.168.1.103(192.168.1.103:3306)
192.168.1.103(192.168.1.103:3306): Resetting slave info succeeded.
Master failover to 192.168.1.103(192.168.1.103:3306) completed successfully.
從日志資訊中可以看到 master failover 已經成功了，并可以看出故障轉移的大體流程
3)檢查 slave2 的複制
登入 slave（192.168.1.104）的Mysql，檢視 slave 狀态
mysql> show slave status\G;
*************************** 1. row ***************************
Slave_IO_State: Waiting for master to send event
Master_Host: 192.168.1.103
Master_User: mharep
Master_Port: 3306
Connect_Retry: 60
Master_Log_File: mysql-bin.000009
Read_Master_Log_Pos: 107
Relay_Log_File: relay-bin.000002
Relay_Log_Pos: 253
Relay_Master_Log_File: mysql-bin.000009
Slave_IO_Running: Yes
Slave_SQL_Running: Yes
可以看到 master 的 IP 現在為 192.168.1.103,已經切換到和192.168.1.103同步了，本來是和192.168.1.102同步的，說明 MHA 已經把Candicatemaster(centos3)提升為了新的 master，IO線程和SQL線程也正确運作，MHA 搭建成功
MHA Manager 端日常主要操作步驟
1）檢查是否有下列檔案，有則删除。
發生主從切換後，MHAmanager服務會自動停掉，且在manager_workdir（/masterha/app1）目錄下面生成檔案app1.failover.complete，若要啟動MHA，必須先確定無此檔案)
如果有這個提示，那麼删除此檔案/masterha/app1/app1.failover.complete
[error][/usr/share/perl5/vendor_perl/MHA/MasterFailover.pm, ln298] Last failover was done at 2015/01/09 10:00:47. Current time is too early to do failover again.
If you want to do failover, manually remove /masterha/app1/app1.failover.complete and run this script again.
# ll /masterha/app1/app1.failover.complete
# ll /masterha/app1/app1.failover.error
2）檢查MHA目前置：
# masterha_check_repl --conf=/etc/masterha/app1.cnf
3）啟動MHA：
#nohup masterha_manager --conf=/etc/masterha/app1.cnf&>/tmp/mha_manager.log &
當有slave 節點宕掉時，預設是啟動不了的，加上 --ignore_fail_on_start即使有節點宕掉也能啟動MHA，如下：
#nohupmasterha_manager --conf=/etc/masterha/app1.cnf--ignore_fail_on_start&>/tmp/mha_manager.log &
4）停止MHA： masterha_stop --conf=/etc/masterha/app1.cnf
5）檢查狀态：
# masterha_check_status --conf=/etc/masterha/app1.cnf
6）檢查日志：
#tail -f /masterha/app1/manager.log
7）主從切換後續工作
重構：
重構就是你的主挂了，切換到Candicate master上，Candicate master變成了主，是以重構的一種方案原主庫修複成一個新的slave
主庫切換後，把原主庫修複成新從庫，然後重新執行以上5步。原主庫資料檔案完整的情況下，可通過以下方式找出最後執行的CHANGE MASTER指令：
[root@centos1 ~]# grep "CHANGE MASTER TO MASTER" /masterha/app1/manager.log | tail -1
Wed Sep 28 22:36:41 2016 - [info] All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='192.168.1.103', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000009', MASTER_LOG_POS=107, MASTER_USER='mharep', MASTER_PASSWORD='xxx';
[root@centos2 ~]# mysql -uroot -ppwd123
mysql> CHANGE MASTER TO MASTER_HOST='192.168.1.103', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000009', MASTER_LOG_POS=107, MASTER_USER='mharep', MASTER_PASSWORD='123.abc';
Query OK, 0 rows affected (0.06 sec)
mysql> start slave;
Query OK, 0 rows affected (0.00 sec)
Master_Log_File: mysql-bin.000011
Relay_Log_File: relay-bin.000005
Relay_Master_Log_File: mysql-bin.000011
啟動manager
注意：如果正常，會顯示"PING_OK"，否則會顯示"NOT_RUNNING"，這代表MHA監控沒有開啟。
定期删除中繼日志
在配置主從複制中，slave上設定了參數relay_log_purge=0，是以slave節點需要定期删除中繼日志，建議每個slave節點删除中繼日志的時間錯開。
corntab -e
0 5 * * * /usr/local/bin/purge_relay_logs - -user=root --password=pwd123 --port=3306 --disable_relay_log_purge>> /var/log/purge_relay.log 2>&1
四、配置VIP：
vip配置可以采用兩種方式，一種通過keepalived的方式管理虛拟ip的浮動；另外一種通過腳本方式啟動虛拟ip的方式（即不需要keepalived或者heartbeat類似的軟體）。
1、keepalived方式管理虛拟ip，keepalived配置方法如下：
下載下傳軟體進行并進行安裝（兩台master，準确的說一台是master，另外一台是備選master，在沒有切換以前是slave）
在centos2和centos3上安裝軟體包keepalived
安裝keepalived軟體包與服務控制
在編譯安裝Keepalived之前，必須先安裝核心開發包kernel-devel以及openssl-devel、popt-devel等支援庫。
若沒有安裝則通過rpm或yum工具進行安裝
編譯安裝Keepalived
使用指定的linux核心位置對keepalived進行配置，并将安裝路徑指定為根目錄，這樣就無需額外建立連結檔案了，配置完成後，依次執行make、make install進行安裝。
使用keepalived服務
執行make install操作之後，會自動生成/etc/init.d/keepalived腳本檔案，但還需要手動添加為系統服務，這樣就可以使用service、chkconfig工具來對keepalived服務程式進行管理了。
Centos3主機也完成keepalived安裝，與master1一樣，安裝過程略
注：若開啟了防火牆，需要關閉防火牆或建立規則。
修改Keepalived的配置檔案（在master上配置）
在候選master上配置
啟動keepalived服務，在master上啟動并檢視日志
#/etc/init.d/keepalivedstart ; tail -f /var/log/messages
發現已經将虛拟ip 192.168.1.100綁定了網卡eth0上
# tail -f /var/log/messages
檢視eth0網卡是否綁定了VIP
在另外一台伺服器，候選master上啟動keepalived服務，并觀察
檢視eth0網卡綁定情況
從上面的資訊可以看到keepalived已經配置成功
注意：
上面兩台伺服器的keepalived都設定為了BACKUP模式，在keepalived中2種模式，分别是master->backup模式和backup->backup模式。這兩種模式有很大差別。在master->backup模式下，一旦主庫當機，虛拟ip會自動漂移到從庫，當主庫修複後，keepalived啟動後，還會把虛拟ip搶占過來，即使設定了非搶占模式（nopreempt）搶占ip的動作也會發生。在backup->backup模式下，當主庫當機後虛拟ip會自動漂移到從庫上，當原主庫恢複和keepalived服務啟動後，并不會搶占新主的虛拟ip，即使是優先級高于從庫的優先級别，也不會發生搶占。為了減少ip漂移次數，通常是把修複好的主庫當做新的備庫。
2、MHA引入keepalived（MySQL服務程序挂掉時通過MHA 停止keepalived）:
要想把keepalived服務引入MHA，我們隻需要修改切換時觸發的腳本檔案master_ip_failover即可，在該腳本中添加在master發生當機時對keepalived的處理。
編輯腳本/scripts/master_ip_failover，修改後如下。
[root@centos1 ~]# cat /scripts/master_ip_failover
#!/usr/bin/envperl
use strict;
use warnings FATAL => 'all';
useGetopt::Long;
my (
$command, $ssh_user, $orig_master_host, $orig_master_ip,
$orig_master_port, $new_master_host, $new_master_ip, $new_master_port
);
my $vip = '192.168.1.100';
my $ssh_start_vip = "/etc/init.d/keepalived start";
my $ssh_stop_vip = "/etc/init.d/keepalived stop";
GetOptions(
'command=s' => \$command,
'ssh_user=s' => \$ssh_user,
'orig_master_host=s' => \$orig_master_host,
'orig_master_ip=s' => \$orig_master_ip,
'orig_master_port=i' => \$orig_master_port,
'new_master_host=s' => \$new_master_host,
'new_master_ip=s' => \$new_master_ip,
'new_master_port=i' => \$new_master_port,
exit&main();
sub main {
print "\n\nIN SCRIPT TEST====$ssh_stop_vip==$ssh_start_vip===\n\n";
if ( $command eq "stop" || $command eq "stopssh" ) {
my $exit_code = 1;
eval {
print "Disabling the VIP on old master: $orig_master_host \n";
&stop_vip();
$exit_code = 0;
};
if ($@) {
warn "Got Error: $@\n";
exit $exit_code;
}
}
elsif ( $command eq "start" ) {
my $exit_code = 10;
print "Enabling the VIP - $vip on the new master - $new_master_host \n";
&start_vip();
warn $@;
elsif ( $command eq "status" ) {
print "Checking the Status of the script.. OK \n";
#`ssh $ssh_user\@cluster1 \" $ssh_start_vip \"`;
exit 0;
else {
&usage();
exit 1;
}
# A simple system call that enable the VIP on the new master
substart_vip() {
`ssh $ssh_user\@$new_master_host \" $ssh_start_vip \"`;
# A simple system call that disable the VIP on the old_master
substop_vip() {
return 0 unless ($ssh_user);
`ssh $ssh_user\@$orig_master_host \" $ssh_stop_vip \"`;
sub usage {
"Usage: master_ip_failover --command=start|stop|stopssh|status --orig_master_host=host --orig_master_ip=ip --orig_master_port=port --new_master_host=host --new_master_ip=ip --new_master_port=port\n";
現在已經修改這個腳本了，接下來我們在/etc/masterha/app1.cnf 中調用故障切換腳本
停止MHA：
#masterha_stop --conf=/etc/masterha/app1.cnf
在配置檔案/etc/masterha/app1.cnf 中啟用下面的參數(在[server default下面添加])
master_ip_failover_script=/scripts/master_ip_failover
啟動MHA：
#nohupmasterha_manager --conf=/etc/masterha/app1.cnf&>/tmp/mha_manager.log &
檢查狀态：
[root@centos1 ~]# masterha_check_status --conf=/etc/masterha/app1.cnf
app1 (pid:12047) is running(0:PING_OK), master:192.168.1.103
再檢查叢集狀态，看是否會報錯。
[root@centos1 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf
……
Thu Sep 29 23:29:30 2016 - [info] Slaves settings check done.
Thu Sep 29 23:29:30 2016 - [info]
192.168.1.103(192.168.1.103:3306) (current master)
+--192.168.1.102(192.168.1.102:3306)
Thu Sep 29 23:29:30 2016 - [info] Checking replication health on 192.168.1.102..
Thu Sep 29 23:29:30 2016 - [info] ok.
Thu Sep 29 23:29:30 2016 - [info] Checking replication health on 192.168.1.104..
Thu Sep 29 23:29:30 2016 - [info] Checking master_ip_failover_script status:
Thu Sep 29 23:29:30 2016 - [info] /scripts/master_ip_failover --command=status --ssh_user=root --orig_master_host=192.168.1.103 --orig_master_ip=192.168.1.103 --orig_master_port=3306
IN SCRIPT TEST====/etc/init.d/keepalived stop==/etc/init.d/keepalived start===
Checking the Status of the script.. OK
Thu Sep 29 23:29:30 2016 - [info] OK.
Thu Sep 29 23:29:30 2016 - [warning] shutdown_script is not defined.
Thu Sep 29 23:29:30 2016 - [info] Got exit code 0 (Not master dead).
可以看見已經沒有報錯了。
/scripts/master_ip_failover添加或者修改的内容意思是當主庫資料庫發生故障時，會觸發MHA切換，MHA Manager會停掉主庫上的keepalived服務，觸發虛拟ip漂移到備選從庫，進而完成切換。
當然可以在keepalived裡面引入腳本，這個腳本監控mysql是否正常運作，如果不正常，則調用該腳本殺掉keepalived程序（參考MySQL 高可用性keepalived+mysql雙主）。
測試：
在master上停止mysqld服務
到slave(192.168.1.104)檢視slave的狀态：
從上圖可以看出slave指向了新的master伺服器192.168.1.102(在故障切換前指向的是192.168.1.103)
檢視VIP綁定：
在192.168.1.103上檢視vip綁定
在192.168.1.102上檢視vip綁定
從上面的顯示結果可以看出vip位址漂移到了192.168.1.102
主從切換後續工作
重構就是你的主挂了，切換到Candicate master上，Candicate master變成了主，是以重構的一種方案原主庫修複成一個新的slave
主庫切換後，把原主庫修複成新從庫，原主庫資料檔案完整的情況下，可通過以下方式找出最後執行的CHANGE MASTER指令：
Thu Sep 29 23:38:16 2016 - [info] All other slaves should start replication from here. Statement should be: CHANGE MASTER TO MASTER_HOST='192.168.1.102', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000013', MASTER_LOG_POS=107, MASTER_USER='mharep', MASTER_PASSWORD='xxx';
将192.168.1.103（原主庫）修複成從庫
[root@centos3 ~]# servicemysqld start
Starting MySQL..[ OK ]
[root@centos3 ~]# mysql -uroot -ppwd123
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.5.38-log Source distribution
Copyright (c) 2000, 2013, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
Type 'help;' or '\h' for help.Type '\c' to clear the current input statement.
mysql>CHANGE MASTER TO MASTER_HOST='192.168.1.102', MASTER_PORT=3306, MASTER_LOG_FILE='mysql-bin.000013', MASTER_LOG_POS=107, MASTER_USER='mharep', MASTER_PASSWORD='123.abc';
Master_Host: 192.168.1.102
Master_Log_File: mysql-bin.000013
Relay_Master_Log_File: mysql-bin.000013
[root@centos3 ~]# /etc/init.d/keepalived start
Starting keepalived: [ OK ]
[root@centos3 ~]# /etc/init.d/keepalived status
keepalived (pid 6436) is running...
啟動mha manager:
[root@centos1 ~]# rm -fr /masterha/app1/app1.failover.complete
[root@centos1 ~]# nohupmasterha_manager --conf=/etc/masterha/app1.cnf --ignore_fail_on_start&>/tmp/mha_manager.log &
[1] 13010
app1 (pid:13010) is running(0:PING_OK), master:192.168.1.102
[root@centos1 ~]# masterha_check_repl --conf=/etc/masterha/app1.cnf
Fri Sep 30 00:02:39 2016 - [info] Slaves settings check done.
Fri Sep 30 00:02:39 2016 - [info]
Fri Sep 30 00:02:39 2016 - [info] Checking replication health on 192.168.1.103..
Fri Sep 30 00:02:39 2016 - [info] ok.
Fri Sep 30 00:02:39 2016 - [info] Checking replication health on 192.168.1.104..
Fri Sep 30 00:02:39 2016 - [info] Checking master_ip_failover_script status:
Fri Sep 30 00:02:39 2016 - [info] /scripts/master_ip_failover --command=status --ssh_user=root --orig_master_host=192.168.1.102 --orig_master_ip=192.168.1.102 --orig_master_port=3306
2、通過腳本實作VIP切換
通過腳本的方式管理VIP。這裡是修改/scripts/master_ip_failover，也可以使用其他的語言完成，比如php語言。使用php腳本編寫的failover這裡就不介紹了。修改完成後内容如下，而且如果使用腳本管理vip的話，需要手動在master伺服器上綁定一個vip
[root@centos2 ~]# /sbin/ifconfig eth0:0 192.168.1.100/24
在mha-manager上修改/scripts/master_ip_failover，内容如下
my $vip = '192.168.1.100/24';
my $key = '0';
my $ssh_start_vip = "/sbin/ifconfig eth0:$key $vip";
my $ssh_stop_vip = "/sbin/ifconfig eth0:$key down";
[root@centos1 ~]# grep "master_ip_failover_script" /etc/masterha/app1.cnf
#nohupmasterha_manager --conf=/etc/masterha/app1.cnf&>/tmp/mha_manager.log &
5）檢查狀态：f
app1 (pid:2818) is running(0:PING_OK), master:192.168.1.102
[root@centos1 ~]# masterha_check_repl--conf=/etc/masterha/app1.cnf
Fri Sep 30 23:05:10 2016 - [info] Slaves settings check done.
Fri Sep 30 23:05:10 2016 - [info]
Fri Sep 30 23:05:10 2016 - [info] Checking replication health on 192.168.1.103..
Fri Sep 30 23:05:10 2016 - [info] ok.
Fri Sep 30 23:05:10 2016 - [info] Checking replication health on 192.168.1.104..
Fri Sep 30 23:05:10 2016 - [info] Checking master_ip_failover_script status:
Fri Sep 30 23:05:10 2016 - [info] /scripts/master_ip_failover --command=status --ssh_user=root --orig_master_host=192.168.1.102 --orig_master_ip=192.168.1.102 --orig_master_port=3306
IN SCRIPT TEST====/sbin/ifconfig eth0:0 down==/sbin/ifconfig eth0:0 192.168.1.100/24===
Fri Sep 30 23:05:10 2016 - [info] OK.
Fri Sep 30 23:05:10 2016 - [warning] shutdown_script is not defined.
Fri Sep 30 23:05:10 2016 - [info] Got exit code 0 (Not master dead).
在master上停掉mysql服務
[root@centos2 ~]# /etc/init.d/mysqld stop
Shutting down MySQL... [ OK ]
從上圖可以看出slave指向了新的master伺服器（192.168.1.103）
檢視VIP
從上圖可以看到centos2(原來的master)釋放了VIP，centos03(新的master)接管了VIP位址
主庫切換後，把原主庫修複成新從庫，相關操作請參考前面相關操作。
為了防止腦裂發生，推薦生産環境采用腳本的方式來管理虛拟ip，而不是使用keepalived來完成。到此為止，基本MHA叢集已經配置完畢。
總結：
MHA軟體由兩部分組成，Manager工具包和Node工具包，具體的說明如下。
Manager工具包主要包括以下幾個工具：
masterha_check_ssh檢查MHA的SSH配置狀況
masterha_check_repl檢查MySQL複制狀況
masterha_manger啟動MHA
masterha_check_status檢測目前MHA運作狀态
masterha_master_monitor檢測master是否當機
masterha_master_switch控制故障轉移（自動或者手動）
masterha_conf_host添加或删除配置的server資訊
Node工具包（這些工具通常由MHA Manager的腳本觸發，無需人為操作）主要包括以下幾個工具：
save_binary_logs儲存和複制master的二進制日志
apply_diff_relay_logs識别差異的中繼日志事件并将其差異的事件應用于其他的slave
filter_mysqlbinlog去除不必要的ROLLBACK事件（MHA已不再使用這個工具）
purge_relay_logs清除中繼日志（不會阻塞SQL線程）
mysql必備技能掌握：
1、MySQL架構:對mysql的架構，整體有個印象，才能不斷的加深對mysql的了解和後繼的學習。
2、用各種姿勢備份MySQL資料庫
資料備份是DBA或運維工程師日常工作之一，如果讓你來備份，你會用什麼方式備份，在時間時間備份，使用什麼政策備份
3、mysql主從複制及讀寫分離
mysql的主從複制及讀寫分離是DBA必備技能之一
4、MySQL/MariaDB資料庫基于SSL實作主從複制
加強主從複制的安全性
5、MySQL高可用
資料的高可用如何保證
6、資料庫Sharding的基本思想和切分政策
随着資料量的不斷攀升，從性能和可維護的角度，需要進行一些Sharding，也就是資料庫的切分，有垂直切分和水準切分
7、MySQL/MariaDB性能調整和優化技巧