天天看點

故障案例:MySQL唯一索引有重複值,官方卻說This is not a bug

作者:就要學Java

一、問題:

MySQL5.7.38主從架構,主節點唯一索引上(唯一索引不是主鍵)有重複值,全部從節點報1062,SQL線程狀态異常,根據SQL線程報的binlog位置點,insert 資料時有重複值,插入失敗

二、原因:

unique_checks=0時導緻,在bug(106121)清單中官方解釋的原因:該參數關閉,維護唯一索引時,不會進行實體讀,隻會進行記憶體讀,來確定唯一索引的唯一性,即如果記憶體中有沖突資料就報1062,如果記憶體中沒有沖突資料插入成功,不會進行io來将唯一索引相關的資料頁拉取到記憶體。

官方的回複“IMHO this is not a bug”,我了解的意思“不要你覺得,我要我覺得,我就是這麼玩的”。

三、故障解決方案:

一、臨時解決方案

  • 恢複主從:在從節點開啟會話set sql_log_bin=0删除表的唯一索引重新啟動複制線程

缺點是:不能夠解決資料重複的問題,切換主從後會面臨更多重複資料的問題,如果從節點接收查請求且使用到了原唯一索引的字段,那sql效率會嚴重下降,但是可以解決主從複制停止的問題

二、永久解決方案

  1. 業務自己去重,不要插入重複資料
  2. 參數unique_checks保持為1
  3. 關于重複的業務資料:與業務交流,确定重複資料的處理方式

四、複現步驟:

1. 表結構:

mysql> create database wl;mysql> show create table wl.lgf\G*************************** 1. row ***************************       Table: lgfCreate Table: CREATE TABLE `lgf` (  `id` int(11) NOT NULL AUTO_INCREMENT,  `k` int(11) NOT NULL DEFAULT '0',  `c` char(120) NOT NULL DEFAULT '',  `pad` char(60) NOT NULL DEFAULT '',  PRIMARY KEY (`id`),  UNIQUE KEY `c` (`c`,`pad`)) ENGINE=InnoDB AUTO_INCREMENT=2147483647 DEFAULT CHARSET=utf8           

Python生成随機資料,插入表,并另起會話觀察總資料量約10w條左右(保證聚簇索引中的前邊的資料與後邊的資料所在的葉子節點的頁相差很遠):

rand.pyimport randomimport oswhile True:    i=str(random.randint(1000,8000000))    a=str(random.randint(1000000000000000,8000000000000000))    b=str(random.randint(1000000000000000,8000000000000000))    c=str(random.randint(100000,800000))    sql="insert ignore into lgf(id,k,c,pad) values(%s,%s,%s,%s) " % (i,c,a,b)    os.system('mysql -uroot -p123456 -h127.0.0.1 -P3306 -e "use wl;%s"' % (sql))           

2. 查詢資料:

查詢前10條資料:mysql> select * from wl.lgf order by id limit 10;+------+--------+------------------+------------------+| id   | k      | c                | pad              |+------+--------+------------------+------------------+| 1058 | 162327 | 1693367460515515 | 4503256156555111 || 1072 | 581438 | 7079984640802065 | 3180334749170868 || 1139 | 160022 | 5072986485096872 | 4163430310554381 || 1193 | 780611 | 4790797228737408 | 2940698105313885 || 1234 | 395757 | 4904177529354516 | 4353197763651083 || 1243 | 725513 | 5525166443023382 | 5731401212245669 || 1262 | 749163 | 1132694876665847 | 5159069792931202 || 1280 | 415220 | 2770815803363126 | 3979264947141008 || 1316 | 329253 | 6088415865037450 | 6035685143204331 || 1360 | 403078 | 3344825394389018 | 7962994492618902 |+------+--------+------------------+------------------+10 rows in set (0.00 sec)id=1360 c=3344825394389018 pad=7962994492618902           

3. 拼接SQL

c與pad的值與id=1360值相等,id=1000000000(表中無該id行)

insert into wl.lgf(id,c,pad) values(10000000,'3344825394389018','7962994492618902') ;           

4. 重新開機mysqld

目的是清除緩存 為了清空MySQL緩存容,還可結合以下幾個參數 修改my.cnf檔案,重新開機MySQL執行個體

  • innodb_buffer_pool_load_at_startup = 0
  • innodb_buffer_pool_dump_at_shutdown = 0

5. 重新插入重複唯一索引資料:

mysql> set unique_checks=0;mysql> use wlmysql> insert into wl.lgf(id,c,pad) values(10000000,'3344825394389018','7962994492618902') ;Query OK, 1 row affected (0.00 sec)           

6. 查詢:force index指定主鍵查詢資料

mysql> select * from wl.lgf force index(primary) where c='3344825394389018' and pad='7962994492618902';+----------+--------+------------------+------------------+| id       | k      | c                | pad              |+----------+--------+------------------+------------------+|     1360 | 403078 | 3344825394389018 | 7962994492618902 || 10000000 |      0 | 3344825394389018 | 7962994492618902 |+----------+--------+------------------+------------------+2 rows in set (0.37 sec)           

金九銀十快到了很多朋友對面試不夠了解,不知道如何準備,對面試環節的設定以及目的不了解,尤其是面試題還很難,自己看解析都有點不明白。這裡也推薦一個前京東架構師講解的:

《2小時精講最新Java高頻面試題》(文末免費領)

教程中除了架構、資料庫、中間件、場景解析等Java高頻面試題的詳細講解,還有老師結合自身經曆讓你如何更好的面試:評論區點贊關注評論免費領取!!!!

  • 面試的流程
  • 什麼樣的履歷受歡迎?
  • 針對不同的崗位面試官主要考察什麼?
  • 如何回答面試官的問題比較好?
  • 自己做的項目如何講才能展現出自己的實力?
  • 教程裡配的全套資料我也都打包好了,可以直接免費領取。就算你沒有面試的打算,這套資料也能幫你查漏補缺,完善自己的 Java 技術體系,好好提升一下自己的核心競争力!

評論區點贊關注評論免費領取!!!!

原文:https://www.cnblogs.com/greatsql/p/17129847.html

繼續閱讀