天天看點

MySQL更新-5.6更新到5.7版本&切換GTID模式

MySQL更新-5.6更新到5.7版本&切換GTID模式

目前未在生産環境中更新過資料庫版本,倒是在測試環境跟開發環境更新過。

    可以通過mysqldump sql檔案進行更新,也可以通過mysql_upgrade更新,前者耗時較長,且需要足夠量的磁盤空間,本文暫不讨論,更新使用mysql_upgrade方式。   

    如果轉載,請注明博文來源: www.cnblogs.com/xinysu/   ,版權歸 部落格園 蘇家小蘿蔔 所有。望各位支援!

    如果是線上環境更新,正常來說分為以下幾個步驟:

  1. 從庫先更新
    1. 業務遷移,從庫上若有隻讀業務或者其他,遷移到其他DB執行個體
    2. 從庫備份
    3. 從庫停止複制
    4. 更新
    5. 從庫恢複複制(更新後主庫仍是5.6版本,從庫是5.7版本,注意是否有異常)
    6. 主從恢複正常
  2. 主從切換
  3. 新從庫更新
    1. 新從庫停止複制
    2. 新從庫備份
    3. 新從庫恢複複制
    4. 恢複相關業務

    本文主要記錄更新的詳細步驟、主庫5.6從庫5.7有哪些問題以及如何從傳統模式轉變為GTID模式。

1 MySQL5.6更新到5.7版本

更新步驟簡要如下:

  1. 安裝新版本mysql,從庫伺服器安裝5.7版本mysql
  2. 修改安裝目錄配置參數,修改從庫的mysql配置檔案,把 mysql 安裝目錄修改為 5.7版本的安裝目錄
  3. 關閉從庫mysql服務
  4. 新版本mysql啟動執行個體,使用5.7版本mysql啟動待更新執行個體
  5. 更新字典,使用mysql_upgrade更新字典
  6. 檢查,檢視mysql log日志
#1 安裝新版本mysql
## 下載下傳mysql5.7.17,拷貝到server下的/opt檔案目錄下
## 解壓,建立軟連接配接,授權
tar zvxf mysql-5.7.17-linux-glibc2.5-x86_64.tar.gz
ln -s /opt/mysql-5.7.17-linux-glibc2.5-x86_64 /usr/local/mysql57
chown -R mysql:mysql /usr/data/mysql57
 
#2 修改配置參數
## 檢查配置檔案中那些配置是使用到了 安裝目錄,把使用到底都修改
舊:
basedir = /usr/local/mysql56
plugin-dir = /usr/local/mysql56/lib/plugin/
 
新:
basedir = /usr/local/mysql
plugin-dir = /usr/local/mysql/lib/plugin/
 
#3 關閉mysql
[root@sutest244 mysqlup]# /usr/local/mysql56/bin/mysqladmin --socket=/tmp/mysql3399.sock -uroot -p shutdown
Enter password:
[root@sutest244 mysqlup]# ps axu | grep mysql3399 | grep mysqld
[root@sutest244 mysqlup]#
 
#4 新版本啟動mysql
[root@sutest244 mysqlup]# /usr/local/mysql/bin/mysqld --defaults-file=/data/mysqlup/mysql3399.cnf &
[1] 15477
[root@sutest244 mysqlup]# ps axu | grep mysql3399 | grep mysqld
mysql    15477 37.1 26.7 11931672 1037520 pts/4 Sl  03:34   0:05 /usr/local/mysql/bin/mysqld --defaults-file=/data/mysqlup/mysql3399.cnf
[root@sutest244 mysqlup]#
[root@sutest244 mysqlup]# vim /data/mysqlup/data/error.log
 
#4.1 檢查
檢查啟動後的錯誤日志,看下是否有配置參數報錯,如果有,修改
錯誤日志會有大量的字典資訊報錯,這個暫不處理,下個步驟修複
 
#5 更新字典
[root@sutest244 bin]# /usr/local/mysql/bin/mysql_upgrade --socket=/tmp/mysql3399.sock -uroot -p
Enter password:
Checking if update is needed.
Checking server version.
Running queries to upgrade MySQL server.
Checking system database.
mysql.columns_priv                                 OK
mysql.db                                           OK
mysql.engine_cost                                  OK
mysql.event                                        OK
mysql.func                                         OK
mysql.general_log                                  OK
mysql.gtid_executed                                OK
mysql.help_category                                OK
mysql.help_keyword                                 OK
mysql.help_relation                                OK
mysql.help_topic                                   OK
mysql.innodb_index_stats                           OK
mysql.innodb_table_stats                           OK
mysql.ndb_binlog_index                             OK
mysql.plugin                                       OK
mysql.proc                                         OK
mysql.procs_priv                                   OK
mysql.proxies_priv                                 OK
mysql.server_cost                                  OK
mysql.servers                                      OK
mysql.slave_master_info                            OK
mysql.slave_relay_log_info                         OK
mysql.slave_worker_info                            OK
mysql.slow_log                                     OK
mysql.tables_priv                                  OK
mysql.time_zone                                    OK
mysql.time_zone_leap_second                        OK
mysql.time_zone_name                               OK
mysql.time_zone_transition                         OK
mysql.time_zone_transition_type                    OK
mysql.user                                         OK
Upgrading the sys schema.
Checking databases.
sys.sys_config                                     OK
省略...
檢查使用者資料庫及表格
省略...
Upgrade process completed successfully.
Checking if update is needed.
 
#6 檢查日志
檢視log日志正常。      

2 主庫5.6從庫5.7存在問題

由于從庫是5.7版本,mysql、performance、sys等一些系統資料庫對象有發生變化,同時一些SQL也有所變動。

2.1 修改使用者密碼失敗

1). 問題

主庫修改使用者密碼,update mysql.user set password=password('newpasswd') where ...

  • 2018-03-29T01:22:45.058927Z 12 [ERROR] Slave SQL for channel '': Column 1 of table 'mysql.user' cannot be converted from type 'char(16)' to type 'char(32)', Error_code: 1677
  • 2018-03-29T01:22:45.059066Z 12 [ERROR] Error running query, slave SQL thread aborted. Fix the problem, and restart the slave SQL thread with "SLAVE START". We stopped at log 'bin_log.000003' position 3208

2). 分析

修改導緻從庫複制異常停止,因為 5.6版本mysql.user表格的password字段,在5.7沒有該字段,修改為 authentication_string 

3). 處理

方案1:事先處理,執行update password 的前,配置會話不記錄binlog:set session sql_log_bin=off,然後單獨到主從執行該SQL

方案2:事後處理,如果已經出現這個錯誤,則在從庫跳過該sql然後再開啟複制同步,最後從庫修改密碼

  • set global sql_slave_skip_counter=1;
  • start slave sql_thread;
  • show slave status;
  • set session sql_log_bin=off;
  • alter user suuser@'%' identified by 'newpassword';
  • flush privileges;
  • set session sql_log_bin=on;

2.2 SQL文法問題

1). 問題

  • SELECT字段超過GROUP BY字段報錯
    • select id,name,age,count(*) from tbuser group by name;
  • 其他一些SQL文法問題

2).分析

5.7跟5.6預設的sql_mode配置不一樣,如果mysql配置檔案中沒有說明sql_mode,更新後sql_mode将從NO_ENGINE_SUBSTITUTION修改為ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION,該模式下會導緻部分在5.6支援的SQL在5.7報文法錯誤。

方案1:事先處理,在測試環境中,詳細測試程式代碼在新版本資料庫上的相容性,若有異常,則修複程式代碼中的SQL操作邏輯。

方案2:事先處理,mysql配置檔案中,指定sql_mode與5.6版本一緻。

方案3:事後處理,如果已經在出現這個錯誤,有需要快速響應處理,可以把sql_mode修改為跟5.6版本預設的sql_mode一緻即可。

3 切換GTID模式

3.1 何為GTID

Global Transaction ID,全局唯一辨別,簡稱GTID,一個GTID 代表在 某個執行個體上發生的一個事務。

GTID = source_id:transaction_id,其中source_id代表執行該事務的執行個體的server_uuid,transaction_id是自增值,從1開始,故GTID實際表示為:在 source_id 執行個體上面發生的 第 transaction_id 個事務。

3.2 GTID相關配置參數

  • ENFORCE_GTID_CONSISTENCY
    • warn
      • 如果出現GTID不相容的語句用法,在錯誤日志會記錄相關資訊,那麼需要調整應該程式避免不相容的寫法,直到完全沒有産生不相容的語句,可以通過應該程式去排查所有的sql,也可以設定後觀察錯誤日志一段時間,這一步非常重要。
    • on
      • 啟動強制GTID一緻性
  • GTID_MODE
    • 說明
      • OFF
        • 新事務是非GTID, Slave隻接受不帶GTID的事務,傳送來GTID的事務會報錯
      • OFF_PERMISSIVE
        • 新事務是非GTID, Slave隻接受不帶GTID的事務也接受帶GTID的事務
      • ON_PERMISSIVE
        • 新事務是GTID, Slave隻接受不帶GTID的事務也接受帶GTID的事務
      • ON
        • 新事務是GTID, Slave隻接受帶GTID的事務
    • 切換順序
      • 需要嚴格按照以下順序,不可跳躍
      • OFF <= => OFF_PERMISSIVE <= => ON_PERMISSIVE <= => ON

3.3 傳統複制切換GTID複制

#step 1 
#修改 ENFORCE_GTID_CONSISTENCY 為 warn ,運作一段時間,檢查錯誤日志裡邊是否存在于GTID不相容的語句用法,并盡快修複
#主從都執行,先後順序不要求
set @@global.enforce_gtid_consistency=warn;
 
#step 2
#修改 ENFORCE_GTID_CONSISTENCY 為 on ,确定沒有不相容文法後,可以修改為ON
#主從都執行,先後順序不要求
set @@global.enforce_gtid_consistency=on;
 
#step 3
#設定GTID_MODE為off_permissiv
#主從都執行,先後順序不要求
SET @@GLOBAL.GTID_MODE = OFF_PERMISSIVE;
 
#step 4
#設定GTID_MODE為off_permissiv=on_permissiv
#主從都執行,先後順序不要求
SET @@GLOBAL.GTID_MODE = ON_PERMISSIVE;
 
#step 5
# 檢查全部執行個體 正在進行的匿名交易數目,也就是非GTID事務有沒有都傳送到從庫上了,需要等到這個變量為 0 才是可以進行下面操作
#主從都執行,先後順序不要求
SHOW STATUS LIKE 'ONGOING_ANONYMOUS_TRANSACTION_COUNT';
 
#step 6
#檢查所有執行個體上面的slave的非GTID是否都執行完了
show master status;#取file跟pos到從庫去執行檢視
SELECT MASTER_POS_WAIT('bin_log.000003', 88748605); #傳回結果大于等于0則說明事務已經完全複制完成
 
 
#step 7
#清理binlog,切換到新的binlog上面
#主從都執行,先後順序不要求
flush logs;
 
#step8
#啟動GTID
#主從都執行,先後順序不要求
SET @@GLOBAL.GTID_MODE = ON;
 
#step 9
#修改cnf檔案
#主從都執行,先後順序不要求
gtid_mode=on
enforce-gtid-consistency=on
binlog_gtid_simple_recovery=1      

3.4 GTID複制切換傳統複制

#step 1
#停止從庫
#所有從庫都執行,先後順序不要求
stop slave;
 
#step 2
#重置chanage master to語句,關閉 master_auto_position
#所有從庫都執行,先後順序不要求
show slave status \G; #取sql_thread的file跟position位置,Relay_Master_Log_File  Exec_Master_Log_Pos
change master to master_log_file='mysql-bin.000003',master_log_pos=4563,master_auto_position=0;
 
#step 3
#測試同步是否正常
#主庫對資料進行操作,看從庫的position有沒有變化,同時看資料是否變更
 
#step 4
#修改GTID_MODE 為 ON_PERMISSIVE
#主從都執行
SET @@GLOBAL.GTID_MODE = ON_PERMISSIVE;
 
#step 5
#修改GTID_MODE 為 OFF_PERMISSIVE
#主從都執行
SET @@GLOBAL.GTID_MODE = OFF_PERMISSIVE;
 
#step 6
#修改GTID_MODE 為 OFF
#主從都執行
SET @@GLOBAL.GTID_MODE = OFF;
 
#step 7
#清理binlog,切換到新的binlog上面
#主從都執行,先後順序不要求
flush logs;
 
#step8
#禁用GTID,其中enforce-gtid-consistency可以不關閉,還是進行 GTID的一緻性檢查
#主從都執行,先後順序不要求
SET @@GLOBAL.GTID_MODE = OFF;
 
#step9
#檢驗同步情況
 
#10
#修改cnf檔案,注釋GTID的參數
#主從都執行,先後順序不要求
#gtid_mode=on
#enforce-gtid-consistency=on
#binlog_gtid_simple_recovery=1      

如果轉載,請注明博文來源: www.cnblogs.com/xinysu/ ,版權歸 部落格園 蘇家小蘿蔔 所有。望各位支援!

繼續閱讀