xtrabackup的mysql備份腳本（一）

一、安裝xtrabackup工具

安裝方法見：xtrabackup安裝

<code># wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.1/binary/tarball/percona-xtrabackup-2.4.1-Linux-x86_64.tar.gz</code>

<code># mv percona-xtrabackup-2.4.1-Linux-x86_64.tar.gz* percona-xtrabackup-2.4.1-Linux-x86_64.tar.gz</code>

<code># tar -zxvf percona-xtrabackup-2.4.1-Linux-x86_64.tar.gz</code>

<code># mv percona-xtrabackup-2.4.1-Linux-x86_64 /usr/bin</code>

<code># mv percona-xtrabackup-2.4.1-Linux-x86_64 xtrabackup</code>

<code># echo 'export PATH=$PATH:/usr/bin/xtrabackup/bin' >> /etc/profile</code>

<code># source /etc/profile</code>

<code># yum -y install libaio</code>

二、配置備份腳本

1.拷貝mysql_backup_shell到mysql業務伺服器目錄，比如：/data/backup_shell/mysql_backup_shell

2.進入拷貝後mysql_backup_shell所在目錄，然後執行chmod 777 mysql_backup.sh

3.修改backup.conf

需要修改的項：

mysql_conf_file=/usr/local/meb/my.cnf.3309 #mysql cnf檔案路徑

user=root #mysql連接配接使用者名

port=3309 #端口号

host=127.0.0.1 #mysql ip

password= #密碼,可以為空

socket=/data0/mysql/3309/mysql.sock #mysql socket

backup_dir=/root/workspace/mysqlbackup/ #全備份後檔案存放目錄

full_backup_month_day=29 #全備份在每月哪天進行， 29代表本月29号進行全備份

is_tar_full=1 #取值為0或1，為1表示會壓縮全備份目錄，并且删除全備份目錄，而保留全備份目錄壓縮後tar.gz檔案。取0不壓縮，保留全備份目錄。

PS: 除上面這些項，其他項一般不需要修改。

4.利用crontab配置定時任務（每天23:59開始備份）

<code>#crontab -e</code>

<code>59 23 * * * YourPath</code><code>/mysql_backup_shell/mysql_backup</code><code>.sh > </code><code>/tmp/monitor</code><code>.log 2>&1</code>

YourPath指解壓縮後目錄存放的路徑，比如/data/backup_shell

5.指令行運作腳本

第一種運作方式

> ./mysql_backup.sh

根據backup.conf檔案裡面full_backup_month_day值，和當天日期比較，如果相同執行全備份；如果不相同執行增量備份。

第二種運作方式

mysql_backup.sh提供一個參數-t，友善測試和出錯後手動啟動備份使用。

./mysql_backup.sh -t full #會進行全備份

./mysql_backup.sh -t inc #會進行增量份

說明：

1.每個月執行一次全備份，具體哪天由backup.conf檔案裡面full_backup_month_day項控制。

2.每天23:59執行增量備份

3.每次全備份前會删除上個月全備份和增量備份的檔案，換句話：隻會持續保持一個月的資料内容。

4.增量備份基于上次的增量備份進行，除全備以後第一次增量備份，其餘都基于上次增量備份目錄進行。

三、腳本

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

<code># xtrabackup backup shell</code>

<code>source</code> <code>/etc/profile</code>

<code>work_dir=`</code><code>dirname</code> <code>$0`</code>

<code>#擷取配置檔案中配置項的值</code>

<code>conf_file=$work_dir</code><code>/backup</code><code>.conf</code>

<code>password=`</code><code>sed</code> <code>'/^password=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>mysql_conf_file=`</code><code>sed</code> <code>'/^mysql_conf_file=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code># mysql host</code>

<code># mysql socket</code>

<code>mysql_socket=`</code><code>sed</code> <code>'/^socket=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>backup_dir=`</code><code>sed</code> <code>'/^backup_dir=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>full_backup_month_day=`</code><code>sed</code> <code>'/^full_backup_month_day=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>full_backup_prefix=`</code><code>sed</code> <code>'/^full_backup_prefix=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>increment_prefix=`</code><code>sed</code> <code>'/^increment_prefix=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>error_log_name=`</code><code>sed</code> <code>'/^error_log=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>index_file_name=`</code><code>sed</code> <code>'/^index_file=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code>#擷取目前時間</code>

<code>backup_date=`</code><code>date</code> <code>+%F`</code>

<code>backup_time=`</code><code>date</code> <code>+%H-%M-%S`</code>

<code>backup_month_day=`</code><code>date</code> <code>+%d`</code>

<code>#擷取日志和錯誤檔案所在目錄</code>

<code>#日志和錯誤檔案路徑</code>

<code>error_log=$log_dir/$error_log_name</code>

<code>index_file=$var_dir/$index_file_name</code>

<code>mkdir</code> <code>-p $backup_dir</code>

<code>mkdir</code> <code>-p $log_dir</code>

<code>mkdir</code> <code>-p $var_dir</code>

<code>#調用xtrabckup進行全量備份</code>

<code>function</code> <code>full_backup() {</code>

<code> </code><code>backup_folder=${full_backup_prefix}_${backup_date}_${backup_time}</code>

<code> </code><code>echo</code> <code>"backup_folder: $backup_folder"</code>

<code> </code><code>mkdir</code> <code>-p $backup_dir/$backup_folder</code>

<code> </code><code>echo</code> <code>"xtrabackup --defaults-file=$mysql_conf_file --user=$user --password=$password --port=$port --socket=$mysql_socket --backup --no-lock --target-dir=$backup_dir/$backup_folder > $log_dir/${backup_folder}.log"</code>

<code> </code><code>xtrabackup \</code>

<code> </code><code>--defaults-</code><code>file</code><code>=$mysql_conf_file \</code>

<code> </code><code>--password=$password \</code>

<code> </code><code>--socket=$mysql_socket \</code>

<code> </code><code>--backup \</code>

<code> </code><code>--target-</code><code>dir</code><code>=$backup_dir/$backup_folder > $log_dir/${backup_folder}.log 2>&1</code>

<code> </code><code>return</code> <code>$?</code>

<code>#調用xtrabckup進行增量備份</code>

<code>function</code> <code>increment_backup() {</code>

<code> </code><code>backup_folder=${increment_prefix}_${backup_date}_${backup_time}</code>

<code> </code><code>echo</code> <code>"index_file : $index_file"</code>

<code> </code><code>incr_base_folder=`</code><code>sed</code> <code>-n </code><code>'$p'</code> <code>$index_file | \</code>

<code> </code><code>awk</code> <code>-F </code><code>'[, {}]*'</code> <code>'{print $3}'</code> <code>| \</code>

<code> </code><code>awk</code> <code>-F </code><code>':'</code> <code>'{print $2}'</code><code>`</code>

<code> </code><code>echo</code> <code>"incr_base_folder: $incr_base_folder"</code>

<code> </code><code>--defaults-</code><code>file</code><code>=$mysql_conf_file \</code>

<code> </code><code>--password=$password \</code>

<code> </code><code>--target-</code><code>dir</code><code>=$backup_dir/$backup_folder \</code>

<code> </code><code>--incremental-basedir=$backup_dir/$incr_base_folder > $log_dir/${backup_folder}.log 2>&1</code>

<code>#根據索引檔案記錄的恢複記錄，删除備份目錄</code>

<code>function</code> <code>delete_before_backup() {</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"`cat $index_file`"</code> <code>]; </code><code>then</code>

<code> </code><code>return</code>

<code> </code><code>cat</code> <code>$index_file | </code><code>awk</code> <code>-F </code><code>'[, {}]*'</code> <code>'{print $3}'</code> <code>| \</code>

<code> </code><code>awk</code> <code>-</code><code>v</code> <code>backup_dir=$backup_dir -F </code><code>':'</code> <code>'{if($2!=""){printf("rm -rf %s/%s\n", backup_dir, $2)}}'</code> <code>| \</code>

<code> </code><code>awk</code> <code>-</code><code>v</code> <code>log_dir=$log_dir -F </code><code>':'</code> <code>'{if($2!=""){printf("rm -rf %s/%s.log\n", log_dir, $2)}}'</code> <code>| \</code>

<code>#備份索引檔案 </code>

<code>function</code> <code>backup_index_file() {</code>

<code> </code><code>cp</code> <code>$index_file ${index_file}_$(</code><code>date</code> <code>-d </code><code>"1 day ago"</code> <code>+%F)</code>

<code>function</code> <code>send_index_file_to_remote() {</code>

<code> </code><code>echo</code> <code>'send index file ok'</code>

<code>#寫入索引日志</code>

<code>function</code> <code>append_index_to_file() {</code>

<code> </code><code>echo</code> <code>"{week_day:$backup_month_day, \</code>

<code> </code><code>dir</code><code>:${1}_${backup_date}_${backup_time}, \</code>

<code> </code><code>date</code><code>:${backup_date}}" >> $index_file</code>

<code>#寫入解壓日志</code>

<code>function</code> <code>append_tar_index_to_file() {</code>

<code> </code><code>dir</code><code>:${1}_${backup_date}_${backup_time}.</code><code>tar</code><code>.gz, \</code>

<code>#記錄錯誤日志</code>

<code>function</code> <code>logging_backup_err() {</code>

<code> </code><code>date</code><code>:${backup_date}}" >> $error_log</code>

<code>#清除索引檔案</code>

<code>function</code> <code>purge_index_from_file() {</code>

<code> </code><code>> $index_file</code>

<code>#清除錯誤日志</code>

<code>function</code> <code>purge_err_log() {</code>

<code> </code><code>> $error_log</code>

<code>#壓縮全備份目錄</code>

<code>function</code> <code>tar_backup_file() {</code>

<code> </code><code>tar_file=${1}_${backup_date}_${backup_time}</code>

<code> </code><code>tar</code> <code>-C $backup_dir -zcvf $backup_dir/${tar_file}.</code><code>tar</code><code>.gz ${tar_file} </code>

<code>function</code> <code>send_backup_to_remote() {</code>

<code> </code><code>echo</code> <code>"send $1 remote ok"</code>

<code> </code><code>#擷取恢複的類型，傳回類型：0:full, 1:inc</code>

<code>function</code> <code>get_backup_type() {</code>

<code> </code><code>full_backup_month_day=`</code><code>sed</code> <code>'/^full_backup_month_day=/!d;s/.*=//'</code> <code>$conf_file`</code>

<code> </code><code>backup_type=0</code>

<code> </code><code>if</code> <code>[ </code><code>"${full_backup_month_day}_x"</code> <code>== </code><code>"${backup_month_day}_x"</code> <code>]; </code><code>then</code>

<code> </code><code>backup_type=0</code>

<code> </code><code>backup_type=1</code>

<code> </code><code>return</code> <code>$backup_type</code>

<code>#檢測配置檔案各項資料合法性</code>

<code>function</code> <code>test_conf_file() {</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$user"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file user not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>#if [ ! -n "$password" ]; then echo 'fail: configure file password not set'; exit 2; fi</code>

<code> </code><code>#if [ ! -n "$host" ]; then echo 'fail: configure file host not set'; exit 2; fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$mysql_socket"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file mysql_socket not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>#if [ ! -n "$port" ]; then echo 'fail: configure file port not set'; exit 2; fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$backup_dir"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file backup_dir not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$full_backup_month_day"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file full_backup_month_day not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$full_backup_prefix"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file full_backup_prefix not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$increment_prefix"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file increment_prefix not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$mysql_conf_file"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file mysql_conf_file not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$error_log"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file error_log not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$index_file"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file index_file not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code> </code><code>if</code> <code>[ ! -n </code><code>"$is_tar_full"</code> <code>]; </code><code>then</code> <code>echo</code> <code>'fail: configure file is_tar_full not set'</code><code>; </code><code>exit</code> <code>2; </code><code>fi</code>

<code>#運作主函數</code>

<code>function</code> <code>run() {</code>

<code> </code><code>backup_type=-1</code>

<code> </code><code>#解析指令行參數</code>

<code> </code><code>while</code> <code>getopts</code> <code>"t:"</code> <code>arg</code>

<code> </code><code>if</code> <code>[ </code><code>"$OPTARG"</code> <code>= </code><code>"$full_backup_prefix"</code> <code>]; </code><code>then</code>

<code> </code><code>backup_type=0</code>

<code> </code><code>elif</code> <code>[ </code><code>"$OPTARG"</code> <code>= </code><code>"$increment_prefix"</code> <code>]; </code><code>then</code>

<code> </code><code>backup_type=1</code>

<code> </code><code>echo</code> <code>"unkonw argument"</code>

<code> </code><code>if</code> <code>[ </code><code>"$backup_type"</code> <code>-</code><code>eq</code> <code>-1 ]; </code><code>then</code>

<code> </code><code>get_backup_type</code>

<code> </code><code>backup_type=$? </code>

<code> </code><code>echo</code> <code>"backup_type: $backup_type"</code>

<code> </code><code>case</code> <code>$backup_type </code><code>in</code>

<code> </code><code>echo</code> <code>'----------------------full backup start----------------'</code>

<code> </code><code>echo</code> <code>'delete_before_backup start'</code>

<code> </code><code>delete_before_backup</code>

<code> </code><code>echo</code> <code>'call xtrabackup to full backup start'</code>

<code> </code><code>full_backup </code>

<code> </code><code>backup_ok=$?</code>

<code> </code><code>if</code> <code>[ 0 -</code><code>eq</code> <code>"$backup_ok"</code> <code>]; </code><code>then</code>

<code> </code><code>tar_backup_file $full_backup_prefix</code>

<code> </code><code>#send_backup_to_remote $full_backup_prefix</code>

<code> </code><code>echo</code> <code>'backup_index_file start'</code>

<code> </code><code>backup_index_file</code>

<code> </code><code># send_index_file_to_remote</code>

<code> </code><code>echo</code> <code>'purge_index_from_file start'</code>

<code> </code><code>purge_index_from_file</code>

<code> </code><code>echo</code> <code>'append_index_to_file start'</code>

<code> </code><code>append_tar_index_to_file $full_backup_prefix</code>

<code> </code><code>append_index_to_file $full_backup_prefix</code>

<code> </code><code>echo</code> <code>'call xtrabackup to increment backup start'</code>

<code> </code><code>increment_backup</code>

<code> </code><code>backup_ok=$?</code>

<code> </code><code>if</code> <code>[ 0 -</code><code>eq</code> <code>"$backup_ok"</code> <code>]; </code><code>then</code>

<code> </code><code># tar_backup_file $increment_prefix</code>

<code> </code><code># send_backup_to_remote $increment_prefix</code>

<code> </code><code>echo</code> <code>'append_index_to_file start'</code>

<code> </code><code>append_index_to_file $increment_prefix</code>

<code> </code><code>rm</code> <code>-rf ${backup_dir}/${full_backup_prefix}_${backup_date}_${backup_time}</code>

<code> </code><code>rm</code> <code>-rf ${backup_dir}/${increment_prefix}_${backup_date}_${backup_time}</code>

<code> </code><code>logging_backup_err $increment_prefix</code>

<code> </code><code>rm</code> <code>-rf ${backup_dir}/${full_backup_prefix}_${backup_date}_${backup_time}</code>

<code> </code><code>logging_backup_err $full_backup_prefix</code>

<code> </code><code>echo</code> <code>'----------------------incr backup start----------------'</code>

<code> </code><code>echo</code> <code>'call xtrabackup to increment backup start'</code>

<code> </code><code>increment_backup</code>

<code> </code><code># tar_backup_file $increment_prefix</code>

<code> </code><code># send_backup_to_remote $increment_prefix</code>

<code> </code><code>append_index_to_file $increment_prefix</code>

<code> </code><code>rm</code> <code>-rf ${backup_dir}/${increment_prefix}_${backup_date}_${backup_time}</code>

<code> </code><code>logging_backup_err $increment_prefix</code>

本文轉自 zouqingyun 51CTO部落格，原文連結：http://blog.51cto.com/zouqingyun/1842390，如需轉載請自行聯系原作者

xtrabackup的mysql備份腳本（一）

繼續閱讀

終端環境之tmux

查找檔案中的字元串

Centos7 MySQL 5.7 安裝MySQL 5.7 安裝

查找入職員工時間排名倒數第三的員工所有資訊

Hibernate使用Hibernate的“3個準備，7個步驟”Hibernate API簡介操作實體對象對象識别

雲計算面試題——mysql/存儲引擎/備份

SQL語言基礎：常用的資料查詢語句

拒絕使用者登入:/bin/false和/usr/sbin/nologin

Ubuntu16.04安裝Apache+MySQL+PHP1. 安裝Apache2. 安裝MySQL3. 安裝PHP4. 安裝phpMyAdmin

Shell程式設計——sort排序、uniq忽略重複、tr替換壓縮删除、cut指定删除字段、正規表達式元字元sort 指令uniq 指令tr 指令cut 指令正規表達式

Linxu常用指令技巧彙總

《Linux指令行與Shell腳本程式設計大全第2版.布盧姆》pdf

MySQL的4種隔離級别？出現問題

ACS基本配置-權限等級管理

neo4j之cypher使用文檔

mysql使用source指令導入.sql檔案