天天看點

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

      mysql内建的複制功能是建構大型,高性能應用程式的基礎。将mysql的資料分布到多個系統上去,這種分布的機制,是通過将mysql的某一台主機的資料複制到其它主機(slaves)上,并重新執行一遍來實作的。複制過程中一個伺服器充當主伺服器,而一個或多個其它伺服器充當從伺服器。主伺服器将更新寫入二進制日志檔案,并維護檔案的一個索引以跟蹤日志循環。這些日志可以記錄發送到從伺服器的更新。當一個從伺服器連接配接主伺服器時,它通知主伺服器從伺服器在日志中讀取的最後一次成功更新的位置。從伺服器接收從那時起發生的任何更新,然後封鎖并等待主伺服器通知新的更新。

請注意當你進行複制時,所有對複制中的表的更新必須在主伺服器上進行。否則,你必須要小心,以避免使用者對主伺服器上的表進行的更新與對從伺服器上的表所進行的更新之間的沖突。

  (1):基于語句的複制:  在主伺服器上執行的sql語句,在從伺服器上執行同樣的語句。mysql預設采用基于語句的複制,效率比較高。  

            一旦發現沒法精确複制時,   會自動選着基于行的複制。    

  (2):基于行的複制:把改變的内容複制過去,而不是把指令在從伺服器上執行一遍. 從mysql5.0開始支援

  (3):混合類型的複制: 預設采用基于語句的複制,一旦發現基于語句的無法精确的複制時,就會采用基于行的複制。

         mysql複制技術有以下一些特點:

         (1)    資料分布 (data distribution )

         (2)    負載平衡(load balancing)

         (3)    備份(backups) 

         (4)    高可用性和容錯行 high availability and failover 

        整體上來說,複制有3個步驟:   

       (1)    master将改變記錄到二進制日志(binary log)中(這些記錄叫做二進制日志事件,binary log events);

       (2)    slave将master的binary log events拷貝到它的中繼日志(relay log);

        (3)    slave重做中繼日志中的事件,将改變反映它自己的資料。

下圖描述了複制的過程:

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

          該過程的第一部分就是master記錄二進制日志。在每個事務更新資料完成之前,master在二日志記錄這些改變。mysql将事務串行的寫入二進制日志,即使事務中的語句都是交叉執行的。在事件寫入二進制日志完成後,master通知存儲引擎送出事務。

       下一步就是slave将master的binary log拷貝到它自己的中繼日志。首先,slave開始一個工作線程——i/o線程。i/o線程在master上打開一個普通的連接配接,然後開始binlog dump process。binlog dump process從master的二進制日志中讀取事件,如果已經跟上master,它會睡眠并等待master産生新的事件。i/o線程将這些事件寫入中繼日志。

       sql slave thread(sql從線程)處理該過程的最後一步。sql線程從中繼日志讀取事件,并重放其中的事件而更新slave的資料,使其與master中的資料一緻。隻要該線程與i/o線程保持一緻,中繼日志通常會位于os的緩存中,是以中繼日志的開銷很小。

        此外,在master中也有一個工作線程:和其它mysql的連接配接一樣,slave在master中打開一個連接配接也會使得master開始一個線程。複制過程有一個很重要的限制——複制在slave上是串行化的,也就是說master上的并行更新操作不能在slave上并行操作。

有兩台mysql資料庫伺服器master和slave,master為主伺服器,slave為從伺服器,初始狀态時,master和slave中的資料資訊相同,當master中的資料發生變化時,slave也跟着發生相應的變化,使得master和slave的資料資訊同步,達到備份的目的。

要點:

負責在主、從伺服器傳輸各種修改動作的媒介是主伺服器的二進制變更日志,這個日志記載着需要傳輸給從伺服器的各種修改動作。是以,主伺服器必須激活二進制日志功能。從伺服器必須具備足以讓它連接配接主伺服器并請求主伺服器把二進制變更日志傳輸給它的權限。

環境:

master和slave的mysql資料庫版本同為5.0.18

作業系統:unbuntu 11.10

ip位址:10.100.0.100

1、在master的資料庫中建立一個備份帳戶:每個slave使用标準的mysql使用者名和密碼連接配接master。進行複制操作的使用者會授予replication slave權限。使用者名的密碼都會存儲在文本檔案master.info中

指令如下:

mysql > grant replication slave,reload,super on *.* 

to backup@’10.100.0.200’ 

identified by ‘1234’;

建立一個帳戶backup,并且隻能允許從10.100.0.200這個位址上來登陸,密碼是1234。

(如果因為mysql版本新舊密碼算法不同,可以設定:set password for 'backup'@'10.100.0.200'=old_password('1234'))

(假如是你完全新安裝mysql主從伺服器,這個一步就不需要。因為新安裝的master和slave有相同的資料)

關停master伺服器,将master中的資料拷貝到b伺服器中,使得master和slave中的資料同步,并且確定在全部設定操作結束前,禁止在master和slave伺服器中進行寫操作,使得兩資料庫中的資料一定要相同!

接下來對master進行配置,包括打開二進制日志,指定唯一的servr id。例如,在配置檔案加入如下值:

server-id=1

log-bin=mysql-bin

server-id:為主伺服器a的id值

log-bin:二進制變更日值

重新開機master,運作show master status,輸出如下:

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

slave的配置與master類似,你同樣需要重新開機slave的mysql。如下:

log_bin           = mysql-bin

server_id         = 2

relay_log         = mysql-relay-bin

log_slave_updates = 1

read_only         = 1

server_id是必須的,而且唯一。slave沒有必要開啟二進制日志,但是在一些情況下,必須設定,例如,如果slave為其它slave的master,必須設定bin_log。在這裡,我們開啟了二進制日志,而且顯示的命名(預設名稱為hostname,但是,如果hostname改變則會出現問題)。

relay_log配置中繼日志,log_slave_updates表示slave将複制事件寫進自己的二進制日志(後面會看到它的用處)。

有些人開啟了slave的二進制日志,卻沒有設定log_slave_updates,然後檢視slave的資料是否改變,這是一種錯誤的配置。是以,盡量使用read_only,它防止改變資料(除了特殊的線程)。但是,read_only并是很實用,特别是那些需要在slave上建立表的應用。

接下來就是讓slave連接配接master,并開始重做master二進制日志中的事件。你不應該用配置檔案進行該操作,而應該使用change master to語句,該語句可以完全取代對配置檔案的修改,而且它可以為slave指定不同的master,而不需要停止伺服器。如下:

mysql> change master to master_host='server1',

    -> master_user='repl',

    -> master_password='p4ssword',

    -> master_log_file='mysql-bin.000001',

    -> master_log_pos=0;

master_log_pos的值為0,因為它是日志的開始位置。

你可以用show slave status語句檢視slave的設定是否正确:

mysql> show slave status\g

*************************** 1. row ***************************

             slave_io_state:

                master_host: server1

                master_user: repl

                master_port: 3306

              connect_retry: 60

            master_log_file: mysql-bin.000001

        read_master_log_pos: 4

             relay_log_file: mysql-relay-bin.000001

              relay_log_pos: 4

      relay_master_log_file: mysql-bin.000001

           slave_io_running: no

          slave_sql_running: no

                             ...omitted...

      seconds_behind_master: null

slave_io_state, slave_io_running, 和slave_sql_running是no

表明slave還沒有開始複制過程。日志的位置為4而不是0,這是因為0隻是日志檔案的開始位置,并不是日志位置。實際上,mysql知道的第一個事件的位置是4。

為了開始複制,你可以運作:

mysql> start slave;

運作show slave status檢視輸出結果:

             slave_io_state: waiting for master to send event

        read_master_log_pos: 164

              relay_log_pos: 164

           slave_io_running: yes

          slave_sql_running: yes

      seconds_behind_master: 0

在這裡主要是看:

                   slave_io_running=yes

                   slave_sql_running=yes

slave的i/o和sql線程都已經開始運作,而且seconds_behind_master不再是null。日志的位置增加了,意味着一些事件被擷取并執行了。如果你在master上進行修改,你可以在slave上看到各種日志檔案的位置的變化,同樣,你也可以看到資料庫中資料的變化。

你可檢視master和slave上線程的狀态。在master上,你可以看到slave的i/o線程建立的連接配接:

在master上輸入show processlist\g;

mysql> show processlist \g

     id: 1

   user: root

   host: localhost:2096

     db: test

command: query

   time: 0

 state: null

   info: show processlist

*************************** 2. row ***************************

     id: 2

   user: repl

   host: localhost:2144

     db: null

command: binlog dump

   time: 1838

 state: has sent all binlog to slave; waiting for binlog to be updated

   info: null

2 rows in set (0.00 sec)

行2為處理slave的i/o線程的連接配接。

在slave伺服器上運作該語句:

   user: system user

   host:

command: connect

   time: 2291

 state: waiting for master to send event

   time: 1852

 state: has read all relay log; waiting for the slave i/o thread to update it

*************************** 3. row ***************************

     id: 5

   host: localhost:2152

3 rows in set (0.00 sec)

行1為i/o線程狀态,行2為sql線程狀态。

假如master已經運作很久了,想對新安裝的slave進行資料同步,甚至它沒有master的資料。

此時,有幾種方法可以使slave從另一個服務開始,例如,從master拷貝資料,從另一個slave克隆,從最近的備份開始一個slave。slave與master同步時,需要三樣東西:

(1)master的某個時刻的資料快照;

(2)master目前的日志檔案、以及生成快照時的位元組偏移。這兩個值可以叫做日志檔案坐标(log file coordinate),因為它們确定了一個二進制日志的位置,你可以用show master status指令找到日志檔案的坐标;

(3)master的二進制日志檔案。

可以通過以下幾中方法來克隆一個slave:

(1)    冷拷貝(cold copy)

停止master,将master的檔案拷貝到slave;然後重新開機master。缺點很明顯。

(2)    熱拷貝(warm copy)

如果你僅使用myisam表,你可以使用mysqlhotcopy拷貝,即使伺服器正在運作。

(3)    使用mysqldump

使用mysqldump來得到一個資料快照可分為以下幾步:

<1>鎖表:如果你還沒有鎖表,你應該對表加鎖,防止其它連接配接修改資料庫,否則,你得到的資料可以是不一緻的。如下:

mysql> flush tables with read lock;

<2>在另一個連接配接用mysqldump建立一個你想進行複制的資料庫的轉儲:

shell> mysqldump --all-databases --lock-all-tables >dbdump.db

<3>對表釋放鎖。

mysql> unlock tables;

已經讨論了關于複制的一些基本東西,下面深入讨論一下複制。

     mysql 5.0及之前的版本僅支援基于語句的複制(也叫做邏輯複制,logical replication),這在資料庫并不常見。master記錄下改變資料的查詢,然後,slave從中繼日志中讀取事件,并執行它,這些sql語句與master執行的語句一樣。

這種方式的優點就是實作簡單。此外,基于語句的複制的二進制日志可以很好的進行壓縮,而且日志的資料量也較小,占用帶寬少——例如,一個更新gb的資料的查詢僅需要幾十個位元組的二進制日志。而mysqlbinlog對于基于語句的日志處理十分友善。

      但是,基于語句的複制并不是像它看起來那麼簡單,因為一些查詢語句依賴于master的特定條件,例如,master與slave可能有不同的時間。是以,mysql的二進制日志的格式不僅僅是查詢語句,還包括一些中繼資料資訊,例如,目前的時間戳。即使如此,還是有一些語句,比如,current user函數,不能正确的進行複制。此外,存儲過程和觸發器也是一個問題。

     另外一個問題就是基于語句的複制必須是串行化的。這要求大量特殊的代碼,配置,例如innodb的next-key鎖等。并不是所有的存儲引擎都支援基于語句的複制。

      mysql增加基于記錄的複制,在二進制日志中記錄下實際資料的改變,這與其它一些dbms的實作方式類似。這種方式有優點,也有缺點。優點就是可以對任何語句都能正确工作,一些語句的效率更高。主要的缺點就是二進制日志可能會很大,而且不直覺,是以,你不能使用mysqlbinlog來檢視二進制日志。

對于一些語句,基于記錄的複制能夠更有效的工作,如:

mysql> insert into summary_table(col1, col2, sum_col3)

    -> select col1, col2, sum(col3)

    -> from enormous_table

    -> group by col1, col2;

     假設,隻有三種唯一的col1和col2的組合,但是,該查詢會掃描原表的許多行,卻僅傳回三條記錄。此時,基于記錄的複制效率更高。

    另一方面,下面的語句,基于語句的複制更有效:

 mysql> update enormous_table set col1 = 0;

此時使用基于記錄的複制代價會非常高。由于兩種方式不能對所有情況都能很好的處理,是以,mysql 5.1支援在基于語句的複制和基于記錄的複制之前動态交換。你可以通過設定session變量binlog_format來進行控制。

除了二進制日志和中繼日志檔案外,還有其它一些與複制相關的檔案。如下:

伺服器一旦開啟二進制日志,會産生一個與二日志檔案同名,但是以.index結尾的檔案。它用于跟蹤磁盤上存在哪些二進制日志檔案。mysql用它來定位二進制日志檔案。它的内容如下(我的機器上):

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

該檔案的功能與mysql-bin.index類似,但是它是針對中繼日志,而不是二進制日志。内容如下:

.\mysql-02-relay-bin.000017

.\mysql-02-relay-bin.000018

儲存master的相關資訊。不要删除它,否則,slave重新開機後不能連接配接master。内容如下(我的機器上):

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

 i/o線程更新master.info檔案,内容如下(我的機器上):

.\mysql-02-relay-bin.000019

254

mysql-01-bin.000010

286

52813

包含slave中目前二進制日志和中繼日志的資訊。

當設定log_slave_updates時,你可以讓slave扮演其它slave的master。此時,slave把sql線程執行的事件寫進行自己的二進制日志(binary log),然後,它的slave可以擷取這些事件并執行它。如下:

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

複制過濾可以讓你隻複制伺服器中的一部分資料,有兩種複制過濾:在master上過濾二進制日志中的事件;在slave上過濾中繼日志中的事件。如下:

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

複制的體系結構有以下一些基本原則:

(1)    每個slave隻能有一個master;

(2)    每個slave隻能有一個唯一的伺服器id;

(3)    每個master可以有很多slave;

(4)    如果你設定log_slave_updates,slave可以是其它slave的master,進而擴散master的更新。

mysql不支援多主伺服器複制(multimaster replication)——即一個slave可以有多個master。但是,通過一些簡單的組合,我們卻可以建立靈活而強大的複制體系結構。

由一個master和一個slave組成複制系統是最簡單的情況。slave之間并不互相通信,隻能與master進行通信。如下:

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

 如果寫操作較少,而讀操作很時,可以采取這種結構。你可以将讀操作分布到其它的slave,進而減小master的壓力。但是,當slave增加到一定數量時,slave對master的負載以及網絡帶寬都會成為一個嚴重的問題。

這種結構雖然簡單,但是,它卻非常靈活,足夠滿足大多數應用需求。一些建議:

(1)    不同的slave扮演不同的作用(例如使用不同的索引,或者不同的存儲引擎);

(2)    用一個slave作為備用master,隻進行複制;

(3)    用一個遠端的slave,用于災難恢複;

master-master複制的兩台伺服器,既是master,又是另一台伺服器的slave。如圖:

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

主動的master-master複制有一些特殊的用處。例如,地理上分布的兩個部分都需要自己的可寫的資料副本。這種結構最大的問題就是更新沖突。假設一個表隻有一行(一列)的資料,其值為1,如果兩個伺服器分别同時執行如下語句:

在第一個伺服器上執行:

mysql> update tbl set col=col + 1;

在第二個伺服器上執行:

mysql> update tbl set col=col * 2;

那麼結果是多少呢?一台伺服器是4,另一個伺服器是3,但是,這并不會産生錯誤。

實際上,mysql并不支援其它一些dbms支援的多主伺服器複制(multimaster replication),這是mysql的複制功能很大的一個限制(多主伺服器的難點在于解決更新沖突),但是,如果你實在有這種需求,你可以采用mysql cluster,以及将cluster和replication結合起來,可以建立強大的高性能的資料庫平台。但是,可以通過其它一些方式來模拟這種多主伺服器的複制。

這是master-master結構變化而來的,它避免了m-m的缺點,實際上,這是一種具有容錯和高可用性的系統。它的不同點在于其中一個服務隻能進行隻讀操作。如圖:

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

這種結構的優點就是提供了備援。在地理上分布的複制結構,它不存在單一節點故障問題,而且還可以将讀密集型的請求放到slave上。

高性能Mysql主從架構的複制原理及配置詳解 1 複制概述  2 .複制配置 3、深入了解複制 4、複制的常用拓撲結構

參考:《高性能 mysql》