天天看点

初学MySQL—MySQL是如何保证数据不丢失的?binlog的写入机制redo log的写入机制

MySQL是如何保证数据不丢失的?

  • binlog的写入机制
  • redo log的写入机制

只要redo log和binlog能够持久化到磁盘中,就能确保MySQL在异常重启后,数据可以恢复。下面一起来了解下MySQL中binlog和redo log的写入流程。

binlog的写入机制

事务执行过程中,先把日志写到binlog cache,事务提交的时候,再把binlog cache写到binlog文件中。

系统给binlog cache分配了一片内存,每个线程一个,参数binlog_cache_size用于控制单个线程内binlog cache所占内存的大小,如果超过这个参数规定的大小,就要暂存到磁盘中。

事务提交的时候,执行器把binlog cache的完整事务写入到binlog中,并且清空binlog cache中。

初学MySQL—MySQL是如何保证数据不丢失的?binlog的写入机制redo log的写入机制

每个线程都有自己的binlog cache,共用同一份binlog文件;上图中的write就是把日志写入到文件系统的page cache,并没有把数据持久化到磁盘中,所以速度很快;

图中的fsync才是把数据持久化到磁盘中,fsync才占磁盘的IOPS;

write和fsync的时机,都是由参数sync_binlog控制的:

  1. sync_binlog=0的时候,每次提交事务都只write,不fsync;
  2. sync_binlog=1的时候,每次提交事务都只会执行fsync;
  3. sync_binlog=N(N>1)的时候,每次提交事务都write,但累计N个事务后才fsnc;

sync_binlgo设置为N的风险是:如果主机发生异常重启,会丢失最近N个事务的binlog日志;

redo log的写入机制

redo log存在三种状态

初学MySQL—MySQL是如何保证数据不丢失的?binlog的写入机制redo log的写入机制
  1. 存在redo log buffer中,物理上是在MySQL进程内存中,就是图中的红色部分;
  2. 写到磁盘(write),但是没有持久化(fsync),物理上是在文件系统的page cache里面,也就是图中的黄色部分;
  3. 持久化到磁盘,对应的是hard disk。也就是图中的绿色部分;

为了控制 redo log 的写入策略,InnoDB 提供了 innodb_flush_log_at_trx_commit 参

数,它有三种可能取值:

  1. 设置为 0 的时候,表示每次事务提交时都只是把 redo log 留在 redo log buffer 中 ;
  2. 设置为 1 的时候,表示每次事务提交时都将 redo log 直接持久化到磁盘;
  3. 设置为 2 的时候,表示每次事务提交时都只是把 redo log 写到 page cache。

InnoDB有一个后台线程,每隔一秒,就会把redo log buffer中的日志,调用write写到文件系统的pagecache中,然后调用fsync持久化到磁盘中;

实际上,除了后台线程每秒一次的轮询操作外,还有两种场景会让一个没有提交的事务的redo log 写入到磁盘:

  1. redo log buffer 占用的空间即将达到 innodb_log_buffer_size 一半的时

    候,后台线程会主动写盘;

  2. 并行的事务提交的时候,顺带将这个事务的 redo log buffer 持久化到磁

    盘;

在两阶段提交的时候说过,时序上redo log先prepare,再写binlog,最后再把redo log commit;

初学MySQL—MySQL是如何保证数据不丢失的?binlog的写入机制redo log的写入机制

上面的"写binlog"是分成两步的:

  1. 先把binlog从binlog cache中写到磁盘上的binlog文件;
  2. 调用fsync持久化;
初学MySQL—MySQL是如何保证数据不丢失的?binlog的写入机制redo log的写入机制

如果你的 MySQL 现在出现了性能瓶颈,而且瓶颈在 IO 上,可以通过哪些方法来提升性能呢?

  1. 设置 binlog_group_commit_sync_delay 和binlog_group_commit_sync_no_delay_count 参数,减少 binlog 的写盘次数;基于“额外的故意等待”,虽然增加了语句的响应时间,但没有丢失数据的风险;
  2. 将sync_binlog设置为大于1的值,常见范围是100~1000,风险是主机停电时会丢失binlog日志;
  3. 将 innodb_flush_log_at_trx_commit 设置为 2。这样做的风险是,主机掉电的时候会

    丢数据;

继续阅读