mariadb-10GTID复制及多源复制

---本文大纲

一、什么是GTID

二、应用场景

三、多线程复制说明

四、实现过程

五、多源复制原理

六、实现过程

----------------------------------

一、什么是GITD

gtid是一个 unique 唯一的表示符，他是由服务器的uuid 全局唯一标识，是由128位的随机符组成，mysql-5.6是依靠server-id和uuid 来标识复制架构中的每一个主机，因为是128位的随机字符串在全局都不会重复，server-id 和uuid以及每一个mysql事物的事物序号组成了唯一的gtid ，自从引进mysql-5.6之后每一个二进制日志当中在每一个事物的首部都会写上gtid 标记，因此gtid使得追踪和比较复制事物变得非常简单而且能够实现从崩溃中快速恢复。尤其是innodb 引擎要想实现高可用功能必须要借助于gtid来实现。

当使用mariadb实现高可用时，GTID是显得尤为重要，例如，在一个高可用环境中，一主多从的模式下，当主库宕机后（写延迟），集群资源管理器可以在节点列表中的多个从库中任选一个提升为主库，而不会影响到业务本身，而其它的从库将会以新提升起来为主库为当前集群中的主库，以后将从这个库上复制同步；虽然这样做完成了“瞬间”业务切换，但可能在主库未宕机之前，多个从库的复制同步落后于主库，这样一来，当主库宕机后，集群资源管理器正好切换到一个与自己事务提交可能不一致的从库（B）上，当有应用读取之前己在宕机的主库中提交的事务时，发现现在的主库没有，这样就会出现事务不一致，而GTID就能很好的解决这个问题。首先当一个从库被提升为一个主库时，那么之前指向原来主库的从库将全部指向新提升的主库，来进行之后的复制，而后，刚提升的主库B会整合所有从库中己完成的的事务，来添补自己缺少的部分，而B从那里知道，缺少的是那一个事务，有那么多的事务，这个事务是那一个呢，这就是通过GTID来标识的，因为GTID标识了来源服务器的标识与第多少个事务（Source_id:transaction_id）,每一个改变是事件都会与GTID相关连起来记录于binlog日志中以供其它从库同步，从而做到全局唯一的标识。

注：

在多级复制中GTID是不会改变的。

在GTID中，如果主服务器中有多个数据库，要实现多线程复制是靠I/O复制到从库的中继日志中由多个SQL thread来进行应用于本地的。

MySQL 5.6之前的版本，同步复制是单线程的，队列的，只能一个一个执行，在5.6里，可以做到多个库之间的多线程复制，例如数据库里，存放着用户表，商品表，价格表，订单表，那么将每个业务表单独放在一个库里，这时就可以做到多线程复制，但一个库里的表，多线程复制是无效的。

每个数据库仅能使用一个线程，复制涉及到多个数据库时多线程复制才有意义；

同一个库的事务复制，就必须按先后顺序复制。

在复制模型中，同一个线程（I/O线程）可以对多个数据库提供服务。

此处仅是实现GTID复制。

1、资源分配

服务类型

版本类型

ip地址

Centos6.5x86_64

无

Mariadb Master

10.0.10-MariaDB-log Source distribution

192.168.1.122/24

Mariadb Slave

192.168.1.210/24

2、Mariadb Master配置清单

⑴、编辑配置文件/etc/my.cnf

<code>[client]</code>

<code>socket = </code><code>/tmp/maria</code><code>.sock</code>

<code>[mysqld]</code>

<code>skip-external-locking</code>

<code>key_buffer_size = 256M</code>

<code>max_allowed_packet = 1M</code>

<code>table_open_cache = 256</code>

<code>sort_buffer_size = 1M</code>

<code>read_buffer_size = 1M</code>

<code>read_rnd_buffer_size = 4M</code>

<code>myisam_sort_buffer_size = 64M</code>

<code>thread_cache_size = 8</code>

<code>query_cache_size= 16M</code>

<code>thread_concurrency = 4</code>

<code>datadir=</code><code>/mydata/data</code>

<code>log-bin=mysql-bin</code>

<code>binlog_format=row</code>

<code>server-</code><code>id</code><code>=10</code>

<code>log-slave-update =True</code>

<code>master-info-repository=TABLE</code>

<code>relay-log-info-repository=TABLE</code>

<code>sync</code><code>-master-info=1</code>

<code>slave-parallel-threads=2</code>

<code>master-verify-checksum=CRC32</code>

<code>slave-sql-verify-checksum=1</code>

<code>binlog-rows-query-log-events=1</code>

<code>report-port=3306</code>

<code>report-host=master.mysql.com</code>

<code>[mysqldump]</code>

<code>quick</code>

<code>max_allowed_packet = 16M</code>

<code>[mysql]</code>

<code>no-auto-rehash</code>

<code>[myisamchk]</code>

<code>key_buffer_size = 128M</code>

<code>sort_buffer_size = 128M</code>

<code>read_buffer = 2M</code>

<code>write_buffer = 2M</code>

<code>[mysqlhotcopy]</code>

<code>interactive-timeout</code>

注解：

binlog-format

二进制日志的格式，有row、statement和mixed几种类型；

当设置隔离级别为READ-COMMITED必须设置二进制日志格式为ROW，现在MySQL官方认为STATEMENT这个已经不再适合继续使用；但mixed类型在默认的事务隔离级别下，可能会导致主从数据不一致；

log-slave-updates、report-port和report-host

用于启动GTID及满足附属的其它需求；

master-info-repository和relay-log-info-repository

启用此两项，可用于实现在崩溃时保证二进制及从服务器安全的功能；

sync-master-info

启用之可确保无信息丢失；

slave-paralles-threads

设定从服务器的SQL线程数；0表示关闭多线程复制功能；

binlog-checksum、master-verify-checksum和slave-sql-verify-checksum

启用复制有关的所有校验功能；

binlog-rows-query-log-events

启用之可用于在二进制日志记录事件相关的信息，可降低故障排除的复杂度；

log-bin

启用二进制日志，这是保证复制功能的基本前提；

server-id

同一个复制拓扑中的所有服务器的id号必须惟一

log_slave_updates

记录从服务器的更新

⑵、授权复制节点及用户

<code>MariaDB [(none)]> </code><code>GRANT</code> <code>REPLICATION SLAVE </code><code>ON</code><code>*.* </code><code>TO</code> <code>[email protected] IDENTIFIED </code><code>BY</code> <code>'replpass'</code><code>;</code>

<code>Query OK, 0 </code><code>rows</code> <code>affected (0.01 sec)</code>

<code>MariaDB [(none)]> flush </code><code>privileges</code>

<code>Query OK, 0 </code><code>rows</code> <code>affected (0.00 sec)</code>

⑶、备份Master节点的数据，同步于slave（此操作并非必须的，如果Master上有大量数据需要同步到新的Slave上，Slave是新上线的此操作才有意义）

<code># mysqldump -uroot -hmaster.mysql.com --all-databases --lock-all-tables --flush-logs --master-data=2 > /tmp/all.sql</code>

⑷、查看一下Master GTID标识

<code>MariaDB [(none)]> show variables </code><code>like</code> <code>"%gtid%"</code>

<code>| Variable_name | Value |</code>

<code>| gtid_binlog_pos | 0-1-2130 |</code>

<code>| gtid_binlog_state | 0-1-2130 |</code>

<code>| gtid_current_pos | 0-1-2130 |</code>

<code>| gtid_domain_id | 0 |</code>

<code>| gtid_ignore_duplicates | </code><code>OFF</code> <code>|</code>

<code>| gtid_slave_pos | |</code>

<code>| gtid_strict_mode | </code><code>OFF</code> <code>|</code>

3、Mariadb Slave配置清单

<code>relay-log=relay-log-bin</code>

<code>server-</code><code>id</code><code>=20</code>

<code>binlog-</code><code>format</code><code>=ROW</code>

<code>log-slave-updates=</code><code>true</code>

<code>binlog-checksum=CRC32</code>

<code>master-verify-checksum=1</code>

<code>binlog-rows-query-log_events=1</code>

<code>report-host=slave.mysql.com</code>

除了server-id,其它的都与主库一样。

⑵、应用完全备份

<code># mysql </tmp/all.sql</code>

⑶、连接Master

<code>MariaDB [(none)]> change master </code><code>to</code> <code>master_host=</code><code>'192.168.1.122'</code><code>,master_user=</code><code>'repluser'</code><code>,master_password=</code><code>'replpass'</code><code>,master_use_gtid=current_pos;</code>

⑷、看一下效果

⑸、测试一下

在Master创建一个数据库，建立一张测试表

<code>MariaDB [(none)]> use yydb</code>

<code>Database</code> <code>changed</code>

<code>MariaDB [yydb]> </code><code>create</code> <code>table</code> <code>t1 (id </code><code>int</code><code>(4) </code><code>not</code> <code>null</code><code>,</code><code>name</code> <code>char</code><code>(30) </code><code>not</code> <code>null</code><code>);</code>

<code>Query OK, 0 </code><code>rows</code> <code>affected (0.03 sec)</code>

在Slave的日志查看一下，是否含有GTID标识

<code>#140419 23:40:27 server id 1 end_log_pos 726 CRC32 0x7d8f09f0 GTID 0-1-2132</code>

<code>/*!100001 SET @@session.gtid_seq_no=2132*</code><code>//</code><code>*!*/;</code>

<code>#140419 23:40:27 server id 1 end_log_pos 852 CRC32 0x4b60d93e Query thread_id=4 exec_time=0 error_code=0</code>

<code>SET TIMESTAMP=1397922027/*!*/;</code>

<code>create table t1 (</code><code>id</code> <code>int(4) not null,name char(30) not null)</code>

如果Master与Slave的GTID标识不符，就无法实现基于GTID的复制，只要将Slave库中的GTID修改与Master一致就可以了

查看GTID标识的语句是

<code>MariaDB [yydb]> show </code><code>global</code> <code>variables </code><code>like</code> <code>'gtid_current_pos'</code><code>;</code>

修改GTID的语句是

<code>MariaDB [(none)]> </code><code>SET</code> <code>GLOBAL</code> <code>gtid_slave_pos =</code><code>'Master_GTID'</code><code>;</code>

=================================基于GTID复制到此结束====================================

首先，我们需要清楚 multi-master 与multi-source 复制不是一样的. Multi-Master 复制通常是环形复制，你可以在任意主机上将数据复制给其他主机。

Multi-source 是不同的. MySQL5.7版本中修复了一个复制限制 , 这限制是一个从站只能有一个主站. 这是一个在我们设计复制环境中的限制因素，也有一些极客使它正常工作了。但是现在有一个官方的解决办法了。所以。简单的说， Multi-Source 意味着一个从站能有一个以上主站. 现在, 像下图一样的复制环境是可能的:

这将帮助我们创建一些复制的层次结构，这在过去是不可能的。举个例子,你可以将一个从站放在你的办公室里。在办公室里从所有主站中复制数据传播到世界各地。

而在微观上说，各Master开启一个binlog dump线程通知Slave端，由Slave开启多个IO threads到各Master端上复制二进制日志并记录到本地的relay日志中，由本地的SQL thread在读取出来并在本地应用。从而实现复制功能。

六、配置过程

IP地址

Master 1

192.168.1.109

Master 2

192.168.1.111

Slave

192.168.1.110

2、在各Master上开启二进制日志，授权复制用户

⑴、Master 1

编辑配置文件

<code>socket = </code><code>/tmp/mysql</code><code>.sock</code>

<code>datadir=</code><code>/mariadb/data</code>

<code>server-</code><code>id</code><code>= 10</code>

binlog-format日志格式使用默认就可以

只需要修改[mysqld]区域

授权复制用户

<code>MariaDB [(none)]> </code><code>grant</code> <code>replication slave,replication client </code><code>on</code> <code>*.* </code><code>to</code> <code>'repluser'</code><code>@</code><code>'192.168.1.110'</code> <code>identified </code><code>by</code> <code>'replpass'</code><code>;</code>

⑵、Master 2

<code>server-</code><code>id</code><code>= 20</code>

<code>MariaDB [(none)]> grantreplication slave,replication client </code><code>on</code><code>*.* </code><code>to</code><code>'repluser'</code><code>@</code><code>'192.168.1.110'</code><code>identified </code><code>by</code><code>'replpass'</code><code>;</code>

<code>Query OK, 0 rowsaffected (0.00 sec)</code>

⑶、Slave

连接两个Master

<code>MariaDB [(none)]> change master </code><code>'Master1'</code> <code>to</code> <code>master_host=</code><code>'192.168.1.109'</code><code>,master_user=</code><code>'repluser'</code><code>,master_password=</code><code>'replpass'</code><code>,master_log_file=</code><code>'mysql-bin.000006'</code><code>,master_log_pos=326;</code>

查看Slave的状态

<code>MariaDB [(none)]> show slave </code><code>'Master1'</code> <code>status\G</code>

<code> </code><code>Slave_IO_State: Waiting </code><code>for</code> <code>master to send event</code>

<code> </code><code>Master_Host: </code><code>192.168</code><code>.</code><code>1.109</code>

<code> </code><code>Master_User: repluser</code>

<code> </code><code>Master_Port: </code><code>3306</code>

<code> </code><code>Connect_Retry: </code><code>60</code>

<code> </code><code>Master_Log_File: mysql-bin.</code><code>000007</code>

<code> </code><code>Read_Master_Log_Pos: </code><code>326</code>

<code> </code><code>Relay_Log_File: master-relay-bin-master1.</code><code>000009</code>

<code> </code><code>Relay_Log_Pos: </code><code>535</code>

<code> </code><code>Relay_Master_Log_File: mysql-bin.</code><code>000007</code>

<code> </code><code>Slave_IO_Running: Yes</code>

<code> </code><code>Slave_SQL_Running: Yes</code>

<code> </code><code>Replicate_Do_DB:</code>

<code> </code><code>Replicate_Ignore_DB:</code>

<code> </code><code>Replicate_Do_Table:</code>

<code> </code><code>Replicate_Ignore_Table:</code>

<code> </code><code>Replicate_Wild_Do_Table:</code>

<code> </code><code>Replicate_Wild_Ignore_Table:</code>

<code> </code><code>Last_Errno: </code><code>0</code>

<code> </code><code>Last_Error:</code>

<code> </code><code>Skip_Counter: </code><code>0</code>

<code> </code><code>Exec_Master_Log_Pos: </code><code>326</code>

<code> </code><code>Relay_Log_Space: </code><code>1128</code>

<code> </code><code>Until_Condition: None</code>

<code> </code><code>Until_Log_File:</code>

<code> </code><code>Until_Log_Pos: </code><code>0</code>

<code> </code><code>Master_SSL_Allowed: No</code>

<code> </code><code>Master_SSL_CA_File:</code>

<code> </code><code>Master_SSL_CA_Path:</code>

<code> </code><code>Master_SSL_Cert:</code>

<code> </code><code>Master_SSL_Cipher:</code>

<code> </code><code>Master_SSL_Key:</code>

<code> </code><code>Seconds_Behind_Master: </code><code>0</code>

<code>Master_SSL_Verify_Server_Cert: No</code>

<code> </code><code>Last_IO_Errno: </code><code>0</code>

<code> </code><code>Last_IO_Error:</code>

<code> </code><code>Last_SQL_Errno: </code><code>0</code>

<code> </code><code>Last_SQL_Error:</code>

<code> </code><code>Replicate_Ignore_Server_Ids:</code>

<code> </code><code>Master_Server_Id: </code><code>10</code>

<code> </code><code>Master_SSL_Crl:</code>

<code> </code><code>Master_SSL_Crlpath:</code>

<code> </code><code>Using_Gtid: No</code>

<code>MariaDB [(none)]> change master </code><code>'Master2'</code> <code>to</code> <code>master_host=</code><code>'192.168.1.111'</code><code>,master_user=</code><code>'repluser'</code><code>,master_password=</code><code>'replpass'</code><code>,master_log_file=</code><code>'mysql-bin.000010'</code><code>,master_log_pos=342;</code>

<code>MariaDB [(none)]> show slave </code><code>'Master2'</code> <code>status\G</code>

<code> </code><code>Slave_IO_State: Waiting </code><code>for</code> <code>master </code><code>to</code> <code>send event</code>

<code> </code><code>Master_Host: 192.168.1.111</code>

<code> </code><code>Master_Port: 3306</code>

<code> </code><code>Connect_Retry: 60</code>

<code> </code><code>Master_Log_File: mysql-bin.000010</code>

<code> </code><code>Read_Master_Log_Pos: 342</code>

<code> </code><code>Relay_Log_File: master-relay-bin-master2.000002</code>

<code> </code><code>Relay_Log_Pos: 535</code>

<code> </code><code>Relay_Master_Log_File: mysql-bin.000010</code>

<code> </code><code>Last_Errno: 0</code>

<code> </code><code>Skip_Counter: 0</code>

<code> </code><code>Exec_Master_Log_Pos: 342</code>

<code> </code><code>Relay_Log_Space: 841</code>

<code> </code><code>Until_Log_Pos: 0</code>

<code> </code><code>Master_SSL_Allowed: </code><code>No</code>

<code> </code><code>Seconds_Behind_Master: 0</code>

<code>Master_SSL_Verify_Server_Cert: </code><code>No</code>

<code> </code><code>Last_IO_Errno: 0</code>

<code> </code><code>Last_SQL_Errno: 0</code>

<code> </code><code>Master_Server_Id: 20</code>

<code> </code><code>Using_Gtid: </code><code>No</code>

⑷、测试一下

在Master1创建一个数据库，在Master2也创建一个数据库

<code>MariaDB [(none)]> show variables </code><code>like</code> <code>'server_id'</code><code>;</code>

<code>| Variable_name | Value |</code>

<code>| server_id | 10 |</code>

<code>MariaDB [(none)]> </code><code>create</code> <code>database</code> <code>m1db;</code>

<code>Query OK, 1 row affected (0.01 sec)</code>

<code>MariaDB [(none)]> show databases;</code>

<code>| </code><code>Database</code> <code>|</code>

<code>| information_schema |</code>

<code>| mysql |</code>

<code>| performance_schema |</code>

<code>| server_id | 20 |</code>

<code>MariaDB [(none)]> </code><code>create</code> <code>database</code> <code>m2db;</code>

<code>Query OK, 1 row affected (0.00 sec)</code>

<code>MariaDB [(none)]></code>

在Slave端显示结果为

在此实验中多源复制各Master中不能有同名库，否则复制将失败。

===========================================完=====================================

本文转自 jinlinger 51CTO博客，原文链接：http://blog.51cto.com/essun/1398848，如需转载请自行联系原作者

mariadb-10GTID复制及多源复制

继续阅读

Ubuntu16.04安装Apache+MySQL+PHP1. 安装Apache2. 安装MySQL3. 安装PHP4. 安装phpMyAdmin

Linxu常用命令技巧汇总

ERROR 1 (HY000): Can't create/write to file '/tmp/#sql_4188_1.MYI' (Errcode: 28)

艰难安装LDAP,SSL认证

《Linux命令行与Shell脚本编程大全第2版.布卢姆》pdf

MySQL的4种隔离级别？出现问题

XX系统实施过程问题总结

无组件上传图片到数据库中，最完整解决方案

【MySQL数据库】数据库索引事务1.索引2.事务

neo4j之cypher使用文档

NOSQL安全攻击

mybatis_入门程序Mybatis入门

mysql使用source命令导入.sql文件

登录plsql 报错 the account is locked --用户被锁

sqlServer根据经纬查距离

SequoiaDB巨杉数据库C++驱动概述