背景:
MySQL5.7之後多了一個備份工具:mysqlpump。它是mysqldump的一個衍生,mysqldump就不多說明了,現在看看mysqlpump到底有了哪些提升,可以檢視
官方文檔,這裡針對如何使用做下說明。
mysqlpump和mysqldump一樣,屬于邏輯備份,備份以SQL形式的文本儲存。邏輯備份相對實體備份的好處是不關心undo log的大小,直接備份資料即可。它最主要的特點是:
- 并行備份資料庫和資料庫中的對象的,加快備份過程。
- 更好的控制資料庫和資料庫對象(表,存儲過程,使用者帳戶)的備份。
- 備份使用者賬号作為帳戶管理語句(CREATE USER,GRANT),而不是直接插入到MySQL的系統資料庫。
- 備份出來直接生成壓縮後的備份檔案。
- 備份進度訓示(估計值)。
- 重新加載(還原)備份檔案,先建表後插入資料最後建立索引,減少了索引維護開銷,加快了還原速度。
- 備份可以排除或則指定資料庫。
參數:絕大部分參數和mysqldump一緻,順便複習一下。對于mysqlpump參數會用背景色 标記出來。
1:
--add-drop-database:在建立庫之前先執行删庫操作。
DROP DATABASE IF EXISTS `...`;
2:
--add-drop-table:在建表之前先執行删表操作。
DROP TABLE IF EXISTS `...`.`...`;
3:
--add-drop-user:在CREATE USER語句之前增加DROP USER,注意:這個參數需要和
--users一起使用,否者不生效。
DROP USER 'backup'@'192.168.123.%';
4:
--add-locks:備份表時,使用LOCK TABLES和UNLOCK TABLES。注意:這個參數不支援并行備份,需要關閉并行備份功能:
--default-parallelism=0
LOCK TABLES `...`.`...` WRITE;
...
UNLOCK TABLES;
5:
--all-databases:備份所有庫,-A。
6:
--bind-address:指定通過哪個網絡接口來連接配接Mysql伺服器(一台伺服器可能有多個IP),防止同一個網卡出去影響業務。
7:
--complete-insert:dump出包含所有列的完整insert語句。
8:
--compress: 壓縮用戶端和伺服器傳輸的所有的資料,-C。
9:
--compress-output:預設不壓縮輸出,目前可以使用的壓縮算法有LZ4和ZLIB。
shell> mysqlpump --compress-output=LZ4 > dump.lz4
shell> lz4_decompress dump.lz4 dump.txt
shell> mysqlpump --compress-output=ZLIB > dump.zlib
shell> zlib_decompress dump.zlib dump.txt
10:
--databases:手動指定要備份的庫,支援多個資料庫,用空格分隔,-B。
11:
--default-character-set:指定備份的字元集。
12:
:指定并行線程數,預設是2,如果設定成0,表示不使用并行備份。注意:每個線程的備份步驟是:先create table但不建立二級索引(主鍵會在create table時候建立),再寫入資料,最後建立二級索引。
13:
--defer-table-indexes:延遲建立索引,直到所有資料都加載完之後,再建立索引,預設開啟。若關閉則會和mysqldump一樣:先建立一個表和所有索引,再導入資料,因為在加載還原資料的時候要維護二級索引的開銷,導緻效率比較低。關閉使用參數:
--skip--defer-table-indexes。
14:
--events:備份資料庫的事件,預設開啟,關閉使用--skip-events參數。
15:
--exclude-databases:備份排除該參數指定的資料庫,多個用逗号分隔。類似的還有
--exclude-events、
--exclude-routines --exclude-tables --exclude-triggers --exclude-usersmysqlpump --exclude-databases=mysql,sys #備份過濾mysql和sys資料庫
mysqlpump --exclude-tables=rr,tt #備份過濾所有資料庫中rr、tt表
mysqlpump -B test --exclude-tables=tmp_ifulltext,tt #備份過濾test庫中的rr、tt表
...
注意:要是隻備份資料庫的賬号,需要添加參數
,并且需要過濾掉所有的資料庫,如:
mysqlpump --users --exclude-databases=sys,mysql,db1,db2 --exclude-users=dba,backup #備份除dba和backup的所有賬号。
16:
--include-databases:指定備份資料庫,多個用逗号分隔,類似的還有
--include-events --include-routines --include-tables --include-triggers --include-users,大緻方法使用同15。
17:
--insert-ignore:備份用insert ignore語句代替insert語句。
18:
--log-error-file:備份出現的warnings和erros資訊輸出到一個指定的檔案。
19:
--max-allowed-packet:備份時用于client/server直接通信的最大buffer包的大小。
20:
--net-buffer-length:備份時用于client/server通信的初始buffer大小,當建立多行插入語句的時候,mysqlpump 建立行到N個位元組長。
21:
--no-create-db:備份不寫CREATE DATABASE語句。要是備份多個庫,需要使用參數-B,而使用-B的時候會出現create database語句,該參數可以屏蔽create database 語句。
22:
--no-create-info:備份不寫建表語句,即不備份表結構,隻備份資料,-t。
23:
--hex-blob: 備份binary字段的時候使用十六進制計數法,受影響的字段類型有BINARY、VARBINARY、BLOB、BIT。
24:
--host:備份指定的資料庫位址,-h。
25:
--parallel-schemas=[
N
:]
db_list
:指定并行備份的庫,多個庫用逗号分隔,如果指定了N,将使用N個線程的地隊列,如果N不指定,将由 --default-parallelism才确認N的值,可以設定多個
--parallel-schemas
。
mysqlpump --parallel-schemas=4:vs,aa --parallel-schemas=3:pt #4個線程備份vs和aa,3個線程備份pt。通過show processlist 可以看到有7個線程。
mysqlpump --parallel-schemas=vs,abc --parallel-schemas=pt #預設2個線程,即2個線程備份vs和abc,2個線程備份pt
####當然要是硬碟IO不允許的話,可以少開幾個線程和資料庫進行并行備份
26:
--password:備份需要的密碼。
27:
--port:備份資料庫的端口。
28:
--protocol={TCP|SOCKET|PIPE|MEMORY}
:指定連接配接伺服器的協定。
29:
--replace:備份出來replace into語句。
30:
--routines:備份出來包含存儲過程和函數,預設開啟,需要對
mysql.proc表有檢視權限。生成的檔案中會包含CREATE PROCEDURE 和 CREATE FUNCTION語句以用于恢複,關閉則需要用--skip-routines參數。
31:
--triggers:備份出來包含觸發器,預設開啟,使用
--skip-triggers
來關閉。
--set-charset :備份檔案裡寫SET NAMES default_character_set 到輸出,此參預設開啟。 -- skip-set-charset禁用此參數,不會在備份檔案裡面寫出set names...
32:
--single-transaction:該參數在事務隔離級别設定成Repeatable Read,并在dump之前發送start transaction 語句給服務端。這在使用innodb時很有用,因為在發出start transaction時,保證了在不阻塞任何應用下的一緻性狀态。對myisam和memory等非事務表,還是會改變狀态的,當使用此參的時候要確定沒有其他連接配接在使用ALTER TABLE、CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE等語句,否則會出現不正确的内容或則失敗。--add-locks和此參互斥,在mysql5.7.11之前,--default-parallelism大于1的時候和此參也互斥,必須使用--default-parallelism=0。5.7.11之後解決了--single-transaction和--default-parallelism的互斥問題。
33:
--skip-definer:忽略那些建立視圖和存儲過程用到的 DEFINER 和 SQL SECURITY 語句,恢複的時候,會使用預設值,否則會在還原的時候看到沒有DEFINER定義時的賬号而報錯。
34:
--skip-dump-rows:隻備份表結構,不備份資料,-d。注意:mysqldump支援--no-data,mysqlpump不支援--no-data
35:
--socket:對于連接配接到localhost,Unix使用套接字檔案,在Windows上是命名管道的名稱使用,-S。
36:
--ssl:--ssl參數将要被去除,用
--ssl-mode取代。關于ssl相關的備份,請看
37:
--tz-utc:備份時會在備份檔案的最前幾行添加SET TIME_ZONE='+00:00'。注意:如果還原的伺服器不在同一個時區并且還原表中的列有timestamp字段,會導緻還原出來的結果不一緻。預設開啟該參數,用
--skip-tz-utc
來關閉參數。
38:
--user:備份時候的使用者名,-u。
39:
:備份資料庫使用者,備份的形式是CREATE USER...,GRANT...,隻備份資料庫賬号可以通過如下指令:
mysqlpump --exclude-databases=% --users #過濾掉所有資料庫
40:
--watch-progress:定期顯示進度的完成,包括總數表、行和其他對象。該參數預設開啟,用
--skip-watch-progress
來關閉。
使用說明:
mysqlpump的架構如下圖所示:

mysqlpump支援基于庫和表的并行導出,mysqlpump的并行導出功能的架構為:隊列+線程,允許有多個隊列(
--parallel-schemas
?
),每個隊列下有多個線程(N?),而一個隊列可以綁定1個或者多個資料庫(逗号分隔)。mysqlpump的備份是基于表并行的,對于每張表的導出隻能是單個線程的,這裡會有個限制是如果某個資料庫有一張表非常大,可能大部分的時間都是消耗在這個表的備份上面,并行備份的效果可能就不明顯。這裡可以利用
mydumper其是以chunk的方式批量導出,即mydumper支援一張表多個線程以chunk的方式批量導出。但是相對于mysqldump還是有了很大的提升。這裡大緻測試下mysqlpump和mysqldump的備份效率。
#mysqlpump壓縮備份vs資料庫 三個并發線程備份,消耗時間:222s
mysqlpump -uzjy -p -h192.168.123.70 --single-transaction --default-character-set=utf8 --compress-output=LZ4 --default-parallelism=3 -B vs > /home/zhoujy/vs_db.sql.lz4
#mysqldump備份壓縮vs資料庫 單個線程備份,消耗時間:900s,gzip的壓縮率比LZ4的高
mysqldump -uzjy -p -h192.168.123.70 --default-character-set=utf8 -P3306 --skip-opt --add-drop-table --create-options --quick --extended-insert --single-transaction -B vs | gzip > /home/zhoujy/vs.sql.gz
#mydumper備份vs資料庫 三個并發線程備份,消耗時間:300s,gzip的壓縮率比LZ4的高
mydumper -u zjy -p -h 192.168.123.70 -P 3306 -t 3 -c -l 3600 -s 10000000 -B vs -o /home/zhoujy/vs/
#mydumper備份vs資料庫,五個并發線程備份,并且開啟對一張表多個線程以chunk的方式批量導出,-r。消耗時間:180s
mydumper -u zjy -p -h 192.168.123.70 -P 3306 -t 5 -c -r 300000 -l 3600 -s 10000000 -B vs -o /home/zhoujy/vs/
從上面看出,mysqlpump的備份效率是最快的,mydumper次之,mysqldump最差。是以在IO允許的情況下,能用多線程就别用單線程備份。并且mysqlpump還支援多資料庫的并行備份,而mydumper要麼備份一個庫,要麼就備份所有庫。姜大神的
Oracle官方并行邏輯備份工具mysqlpump這篇文章的測試結果也說明了mysqlpump比mysqldump的測試好。由于實際情況不同,測試給出的速度提升隻是參考。到底開啟多少個并行備份的線程,這個看磁盤IO的承受能力,若該伺服器隻進行備份任務,可以最大限制的來利用磁盤。
總結:
mysqldump和mysqlpump的使用方法絕大部分一緻,mysqlpump新的參數文章上已經标明,到底用那種工具備份資料庫這個要在具體的環境下才能做出選擇,有些時候可能用實體備份更好(xtrabackup),總之根據需要進行測試,最後再決定使用哪種備份工具進行備份。
參考文檔:
mysqlpump官方文檔