欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MySQL中使用innobackupex、xtrabackup進(jìn)行大數(shù)據(jù)的備份和還原教程

 更新時(shí)間:2014年09月22日 09:16:18   投稿:junjie  
這篇文章主要介紹了MySQL中使用innobackupex、xtrabackup進(jìn)行大數(shù)據(jù)的備份和還原教程,xtrabackup用來對超過10G數(shù)據(jù)的Mysql進(jìn)行備份和還原任務(wù),需要的朋友可以參考下

大數(shù)據(jù)量備份與還原,始終是個(gè)難點(diǎn)。當(dāng)MYSQL超10G,用mysqldump來導(dǎo)出就比較慢了。在這里推薦xtrabackup,這個(gè)工具比mysqldump要快很多。

一、Xtrabackup介紹

1、Xtrabackup是什么

Xtrabackup是一個(gè)對InnoDB做數(shù)據(jù)備份的工具,支持在線熱備份(備份時(shí)不影響數(shù)據(jù)讀寫),是商業(yè)備份工具InnoDB Hotbackup的一個(gè)很好的替代品。

Xtrabackup有兩個(gè)主要的工具:xtrabackup、innobackupex

1、xtrabackup只能備份InnoDB和XtraDB兩種數(shù)據(jù)表,而不能備份MyISAM數(shù)據(jù)表
2、 innobackupex是參考了InnoDB Hotbackup的innoback腳本修改而來的.innobackupex是一個(gè)perl腳本封裝,封裝了xtrabackup。主要是為了方便的 同時(shí)備份InnoDB和MyISAM引擎的表,但在處理myisam時(shí)需要加一個(gè)讀鎖。并且加入了一些使用的選項(xiàng)。如slave-info可以記錄備份恢 復(fù)后,作為slave需要的一些信息,根據(jù)這些信息,可以很方便的利用備份來重做slave。

2、Xtrabackup可以做什么 :

在線(熱)備份整個(gè)庫的InnoDB、 XtraDB表

在xtrabackup的上一次整庫備份基礎(chǔ)上做增量備份(innodb only)
以流的形式產(chǎn)生備份,可以直接保存到遠(yuǎn)程機(jī)器上(本機(jī)硬盤空間不足時(shí)很有用)

MySQL數(shù)據(jù)庫本身提供的工具并不支持真正的增量備份,二進(jìn)制日志恢復(fù)是point-in-time(時(shí)間點(diǎn))的恢復(fù)而不是增量備份。
Xtrabackup工具支持對InnoDB存儲引擎的增量備份,工作原理如下:

(1)首先完成一個(gè)完全備份,并記錄下此時(shí)檢查點(diǎn)的LSN(Log Sequence Number)。
(2)在進(jìn)程增量備份時(shí),比較表空間中每個(gè)頁的LSN是否大于上次備份時(shí)的LSN,如果是,則備份該頁,同時(shí)記錄當(dāng)前檢查點(diǎn)的LSN。
首 先,在logfile中找到并記錄最后一個(gè)checkpoint(“l(fā)ast checkpoint LSN”),然后開始從LSN的位置開始拷貝InnoDB的logfile到xtrabackup_logfile;接著,開始拷貝全部的數(shù)據(jù)文 件.ibd;在拷貝全部數(shù)據(jù)文件結(jié)束之后,才停止拷貝logfile。

因?yàn)閘ogfile里面記錄全部的數(shù)據(jù)修改情況,所以,即時(shí)在備份過程中數(shù)據(jù)文件被修改過了,恢復(fù)時(shí)仍然能夠通過解析xtrabackup_logfile保持?jǐn)?shù)據(jù)的一致。

因?yàn)閕nnobackupex支持innodb,myisam,所以本文說一下,怎么使用innobackupex。

二,安裝xtrabackup

1、下載地址

http://www.percona.com/downloads/XtraBackup/

2、安裝

根據(jù)需求,選擇不同的版本,我選擇的是rpm安裝包,如果報(bào)以下錯(cuò)誤

復(fù)制代碼 代碼如下:

[root@localhost xtrabackup]# rpm -ivh percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm
warning: percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
error: Failed dependencies:
perl(Time::HiRes) is needed by percona-xtrabackup-2.2.4-5004.el6.x86_64

解決辦法:

復(fù)制代碼 代碼如下:

[root@localhost xtrabackup]# yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL //安裝依賴包 
[root@localhost xtrabackup]# rpm -ivh percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm   //重新安裝 
warning: percona-xtrabackup-2.2.4-5004.el6.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY 
Preparing... ########################################### [100%] 
1:percona-xtrabackup ########################################### [100%] 

注意:

xtrabackup 2.2.4不支持mysql 5.1.73,所以如果要用新的xtrabackup,就要用高版本的mysql數(shù)據(jù)庫,不然就會(huì)報(bào)以下錯(cuò)誤:
innobackupex: Error: Unsupported server version: '5.1.73'

二、修改my.cnf

查看一下mysqld下面有沒有datadir,如果沒有加上

復(fù)制代碼 代碼如下:

[mysqld] 
datadir=/var/lib/mysql 

不加的話,還原數(shù)據(jù)的時(shí)候,有可能會(huì)出現(xiàn)以下問題:

復(fù)制代碼 代碼如下:

xtrabackup: Error: Please set parameter 'datadir'
innobackupex: fatal error: no 'mysqld' group in MySQL options
innobackupex: fatal error: OR no 'datadir' option in group 'mysqld' in MySQL options

三、全部數(shù)據(jù)庫備份與還原

1、全部數(shù)據(jù)庫備份

復(fù)制代碼 代碼如下:

# innobackupex --defaults-file=/etc/my.cnf --user=root /home/tank/backup/ 

如果報(bào)以下錯(cuò)誤:

復(fù)制代碼 代碼如下:

InnoDB: Error: log file ./ib_logfile0 is of different size 5242880 bytes
InnoDB: than specified in the .cnf file 50331648 bytes!
innobackupex: Error: The xtrabackup child process has died at /usr/bin/innobackupex line 2679.

解決辦法:在my.cnf的mysqld中加入以下內(nèi)容:

復(fù)制代碼 代碼如下:

[mysqld] 
innodb_log_file_size = 5M 

2、單數(shù)據(jù)庫備份

復(fù)制代碼 代碼如下:

# innobackupex --defaults-file=/etc/my.cnf --user=root --database=backup_test /home/tank/backup/ 

3、數(shù)據(jù)庫備份并壓縮

復(fù)制代碼 代碼如下:

# innobackupex --defaults-file=/etc/my.cnf --user=root --stream=tar  /home/tank/backup | gzip > /home/tank/backup/`date +%F_%H-%M-%S`.tar.gz 

4、全數(shù)據(jù)還原

復(fù)制代碼 代碼如下:

# /etc/init.d/mysqld stop      //停掉mysql 
# mv /var/lib/mysql /var/lib/mysql_bak   //數(shù)據(jù)目錄備份 
# mkdir -p /var/lib/mysql  //重建數(shù)據(jù)目錄 
 
//--apply-log選項(xiàng)的命令是準(zhǔn)備在一個(gè)備份上啟動(dòng)mysql服務(wù) 
# innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log /home/tank/backup/2014-09-18_16-35-12 
 
//--copy-back 選項(xiàng)的命令從備份目錄拷貝數(shù)據(jù),索引,日志到my.cnf文件里規(guī)定的初始位置 
# innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /home/tank/backup/2014-09-18_16-35-12 
 
# chown -R mysql.mysql /var/lib/mysql  //改變文件所屬 
# /etc/init.d/mysqld stop  //啟動(dòng)mysql 

四、增量備份與還原

1、創(chuàng)建測試數(shù)據(jù)庫和表

復(fù)制代碼 代碼如下:

create database backup_test;  //創(chuàng)建庫 
 
CREATE TABLE `backup` (  //創(chuàng)建表 
 `id` int(11) NOT NULL AUTO_INCREMENT , 
 `name` varchar(20) NOT NULL DEFAULT '' , 
 `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP , 
 `del` tinyint(1) NOT NULL DEFAULT '0', 
 PRIMARY KEY (`id`) 
) ENGINE=myisam DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 ; 

2、增量備份

復(fù)制代碼 代碼如下:

mysql> INSERT INTO backup (name) VALUES ('tank'),('tank1');  //插入數(shù)據(jù) 
 
# innobackupex --defaults-file=/etc/my.cnf --user=root --incremental-basedir=/home/tank/backup/2014-09-18_16-35-12 --incremental /home/tank/backup/ 

3、在增量的基礎(chǔ)上在進(jìn)行增量備份

復(fù)制代碼 代碼如下:

mysql> INSERT INTO backup (name) VALUES ('tank2'),('tank3'),('tank4'),('tank5'),('tank6');  //在插入數(shù)據(jù) 
 
//2014-09-18_18-05-20這個(gè)目錄,上次增量備份產(chǎn)生的目錄 
# innobackupex --defaults-file=/etc/my.cnf --user=root --incremental-basedir=/home/tank/backup/2014-09-18_18-05-20 --incremental /home/tank/backup/ 

查看增量備份記錄文件:

復(fù)制代碼 代碼如下:

[root@localhost 2014-09-18_16-35-12]# cat xtrabackup_checkpoints   //全備目錄下的文件 
backup_type = full-prepared 
from_lsn = 0             //全備起始為0 
to_lsn = 23853959 
last_lsn = 23853959 
compact = 0 
 
[root@localhost 2014-09-18_18-05-20]# cat xtrabackup_checkpoints  //第一次增量備份目錄下的文件 
backup_type = incremental 
from_lsn = 23853959 
to_lsn = 23854112 
last_lsn = 23854112 
compact = 0 
 
[root@localhost 2014-09-18_18-11-43]# cat xtrabackup_checkpoints  //第二次增量備份目錄下的文件 
backup_type = incremental 
from_lsn = 23854112 
to_lsn = 23854712 
last_lsn = 23854712 
compact = 0 

增量備份做完后,把backup_test這個(gè)數(shù)據(jù)庫刪除掉,drop database backup_test;這樣可以對比還原后。

4、增量還原

復(fù)制代碼 代碼如下:

# innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log --redo-only /home/tank/backup/2014-09-18_16-35-12 
 
# innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log --redo-only /home/tank/backup/2014-09-18_16-35-12 --incremental-dir=/home/tank/backup/2014-09-18_18-05-20 
 
# innobackupex --defaults-file=/etc/my.cnf --user=root --apply-log --redo-only /home/tank/backup/2014-09-18_16-35-12 --incremental-dir=/home/tank/backup/2014-09-18_18-11-43 

在這里有三個(gè)目錄:

1)、/home/tank/backup/2014-09-18_16-35-12,全備份目錄
2)、/home/tank/backup/2014-09-18_18-05-20,第一次增量備份產(chǎn)生的目錄
3)、/home/tank/backup/2014-09-18_18-11-43,第二次增量備份產(chǎn)生的目錄

到這里增量還原,還沒有結(jié)束,還有最重要一步,就是要進(jìn)行一次全量還原。停止數(shù)據(jù)庫,刪除/var/lib/mysql,在還原。

增量備份的原理就是,把增量目錄下的數(shù)據(jù),整合到全變量目錄下,然后在進(jìn)行,全數(shù)據(jù)量的還原。

總體來說,innobackupex速度快,支持innodb,myisam,用起來是還不是很方便,單庫還原,還是增量備份還原,都要進(jìn)行全部數(shù)據(jù)庫還原,這個(gè)不合理。

五、innobackup 常用參數(shù)說明

--defaults-file
同xtrabackup的--defaults-file參數(shù)

--apply-log
對xtrabackup的--prepare參數(shù)的封裝

--copy-back
做數(shù)據(jù)恢復(fù)時(shí)將備份數(shù)據(jù)文件拷貝到MySQL服務(wù)器的datadir ;

--remote-host=HOSTNAME
通過ssh將備份數(shù)據(jù)存儲到進(jìn)程服務(wù)器上;

--stream=[tar]
備 份文件輸出格式, tar時(shí)使用tar4ibd , 該文件可在XtarBackup binary文件中獲得.如果備份時(shí)有指定--stream=tar, 則tar4ibd文件所處目錄一定要在$PATH中(因?yàn)槭褂玫氖莟ar4ibd去壓縮, 在XtraBackup的binary包中可獲得該文件)。
在 使用參數(shù)stream=tar備份的時(shí)候,你的xtrabackup_logfile可能會(huì)臨時(shí)放在/tmp目錄下,如果你備份的時(shí)候并發(fā)寫入較大的話 xtrabackup_logfile可能會(huì)很大(5G+),很可能會(huì)撐滿你的/tmp目錄,可以通過參數(shù)--tmpdir指定目錄來解決這個(gè)問題。

--tmpdir=DIRECTORY
當(dāng)有指定--remote-host or --stream時(shí), 事務(wù)日志臨時(shí)存儲的目錄, 默認(rèn)采用MySQL配置文件中所指定的臨時(shí)目錄tmpdir

--redo-only --apply-log組,
強(qiáng)制備份日志時(shí)只redo ,跳過rollback。這在做增量備份時(shí)非常必要。

--use-memory=#
該參數(shù)在prepare的時(shí)候使用,控制prepare時(shí)innodb實(shí)例使用的內(nèi)存量

--throttle=IOS
同xtrabackup的--throttle參數(shù)
--sleep=是給ibbackup使用的,指定每備份1M數(shù)據(jù),過程停止拷貝多少毫秒,也是為了在備份時(shí)盡量減小對正常業(yè)務(wù)的影響,具體可以查看ibbackup的手冊 ;

--compress[=LEVEL]
對備份數(shù)據(jù)迚行壓縮,僅支持ibbackup,xtrabackup還沒有實(shí)現(xiàn);

--include=REGEXP
對 xtrabackup參數(shù)--tables的封裝,也支持ibbackup。備份包含的庫表,例如:--include="test.*",意思是要備份 test庫中所有的表。如果需要全備份,則省略這個(gè)參數(shù);如果需要備份test庫下的2個(gè)表:test1和test2,則寫 成:--include="test.test1|test.test2"。也可以使用通配符,如:--include="test.test*"。

--databases=LIST
列出需要備份的databases,如果沒有指定該參數(shù),所有包含MyISAM和InnoDB表的database都會(huì)被備份;

--uncompress
解壓備份的數(shù)據(jù)文件,支持ibbackup,xtrabackup還沒有實(shí)現(xiàn)該功能;

--slave-info,
備 份從庫, 加上--slave-info備份目錄下會(huì)多生成一個(gè)xtrabackup_slave_info 文件, 這里會(huì)保存主日志文件以及偏移, 文件內(nèi)容類似于:CHANGE MASTER TO MASTER_LOG_FILE='', MASTER_LOG_POS=0

--socket=SOCKET
指定mysql.sock所在位置,以便備份進(jìn)程登錄mysql.

相關(guān)文章

  • MySQL慢查詢?nèi)罩镜呐渲门c使用教程

    MySQL慢查詢?nèi)罩镜呐渲门c使用教程

    慢查詢?nèi)罩居糜谟涗浺恍┻^慢的查詢語句,可以幫助管理員分析問題所在,下面這篇文章主要給大家介紹了關(guān)于MySQL慢查詢?nèi)罩镜呐渲门c使用教程,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下。
    2017-09-09
  • sql語句 update字段null不能用is null問題

    sql語句 update字段null不能用is null問題

    這篇文章主要介紹了sql語句 update字段null不能用is null問題,具有很好的參考價(jià)值,希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
    2022-09-09
  • mysql的約束及實(shí)例分析

    mysql的約束及實(shí)例分析

    這篇文章主要介紹了mysql的約束及實(shí)例分析,真正約束字段的是數(shù)據(jù)類型,但是數(shù)據(jù)類型約束很單一,需要有一些額外的約束,更好的保證數(shù)據(jù)的合法性,從業(yè)務(wù)邏輯角度保證數(shù)據(jù)的正確性,需要的朋友可以參考下
    2023-07-07
  • Mysql?InnoDB引擎中的數(shù)據(jù)頁結(jié)構(gòu)詳解

    Mysql?InnoDB引擎中的數(shù)據(jù)頁結(jié)構(gòu)詳解

    這篇文章主要為大家介紹了Mysql?InnoDB引擎中的數(shù)據(jù)頁結(jié)構(gòu)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2022-05-05
  • mysql5.7.20免安裝版配置方法圖文教程

    mysql5.7.20免安裝版配置方法圖文教程

    這篇文章主要為大家詳細(xì)介紹了mysql5.7.20 免安裝版配置方法圖文教程,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-05-05
  • [MySQL binlog]mysql如何徹底解析Mixed日志格式的binlog

    [MySQL binlog]mysql如何徹底解析Mixed日志格式的binlog

    這篇文章主要介紹了mysql徹底解析Mixed日志格式的binlog,需要的朋友可以參考下
    2014-02-02
  • 重裝MySQL最后一步失敗的完美解決方案(經(jīng)驗(yàn)總結(jié))

    重裝MySQL最后一步失敗的完美解決方案(經(jīng)驗(yàn)總結(jié))

    使用MySQL都有過重裝的經(jīng)歷,要是重裝MySQL基本都是在最后一步通不過,究竟是什么原因呢?下面是我總結(jié)的一點(diǎn)經(jīng)驗(yàn),都是血的教訓(xùn)
    2014-06-06
  • Mysql?SQL審核平臺Yearning本地部署方案

    Mysql?SQL審核平臺Yearning本地部署方案

    Yearning簡單高效的MYSQL 審計(jì)平臺一款MYSQL SQL語句/查詢審計(jì)工具,為DBA與開發(fā)人員使用.本地部署,注重隱私,簡單高效的MYSQL審計(jì)平臺,下面介紹Linux 簡單部署Yearning 并結(jié)合cpolar 內(nèi)網(wǎng)穿透工具實(shí)現(xiàn)遠(yuǎn)程訪問,破除訪問限制,提高工作效率,感興趣的朋友一起看看吧
    2024-01-01
  • 如何正確、安全地關(guān)閉MySQL

    如何正確、安全地關(guān)閉MySQL

    當(dāng)需要停止或關(guān)閉MySQL實(shí)例時(shí),很多人并不清楚如何做到正確、安全地關(guān)閉MySQL,會(huì)對數(shù)據(jù)的安全性和穩(wěn)定性造成很大的威脅,本文將從多個(gè)方面詳細(xì)闡述如何正確關(guān)閉MySQL,包括關(guān)閉MySQL的基本方法、關(guān)閉MySQL前的準(zhǔn)備工作、優(yōu)雅地關(guān)閉MySQL以及遇到MySQL無法正常關(guān)閉的情況
    2023-09-09
  • MySQL 5.5.x my.cnf參數(shù)配置優(yōu)化詳解

    MySQL 5.5.x my.cnf參數(shù)配置優(yōu)化詳解

    今天正好看到一篇有關(guān)my.cnf優(yōu)化的總結(jié),雖然還沒經(jīng)過我自己的實(shí)踐檢驗(yàn),但從文章內(nèi)容來說已經(jīng)寫的很詳細(xì)了(當(dāng)然,事實(shí)上下面這篇文章很多地方只是翻譯了my.cnf原始配置文件的說明,呵呵),所以特地轉(zhuǎn)載收藏一下
    2015-08-08

最新評論