安裝和使用percona-toolkit來(lái)輔助操作MySQL的基本教程
一、percona-toolkit簡(jiǎn)介
percona-toolkit是一組高級(jí)命令行工具的集合,用來(lái)執(zhí)行各種通過(guò)手工執(zhí)行非常復(fù)雜和麻煩的mysql和系統(tǒng)任務(wù),這些任務(wù)包括:
- 檢查master和slave數(shù)據(jù)的一致性
- 有效地對(duì)記錄進(jìn)行歸檔
- 查找重復(fù)的索引
- 對(duì)服務(wù)器信息進(jìn)行匯總
- 分析來(lái)自日志和tcpdump的查詢(xún)
- 當(dāng)系統(tǒng)出問(wèn)題的時(shí)候收集重要的系統(tǒng)信息
percona-toolkit源自Maatkit 和Aspersa工具,這兩個(gè)工具是管理mysql的最有名的工具,現(xiàn)在Maatkit工具已經(jīng)不維護(hù)了,請(qǐng)大家還是使用percona-toolkit吧!這些工具主要包括開(kāi)發(fā)、性能、配置、監(jiān)控、復(fù)制、系統(tǒng)、實(shí)用六大類(lèi),作為一個(gè)優(yōu)秀的DBA,里面有的工具非常有用,如果能掌握并加以靈活應(yīng)用,將能極大的提高工作效率。
二、percona-toolkit工具包安裝
1. 軟件包下載
訪問(wèn)http://www.percona.com/software/percona-toolkit/下載最新版本的Percona Toolkit 或者通過(guò)如下命令行來(lái)獲取最新的版本:
wget percona.com/get/percona-toolkit.tar.gz wget percona.com/get/percona-toolkit.rpm
我這里選擇直接從網(wǎng)站上找到最新版本下載:
wget http://www.percona.com/redir/downloads/percona-toolkit/2.1.1/percona-toolkit-2.1.1-1.noarch.rpm wget http://www.percona.com/redir/downloads/percona-toolkit/2.1.1/percona-toolkit-2.1.1.tar.gz
從http://pkgs.repoforge.org/perl-TermReadKey/下載最新的TermReadKey包
wget http://pkgs.repoforge.org/perl-TermReadKey/perl-TermReadKey-2.30-1.el5.rf.x86_64.rpm
2. 軟件包安裝
我的環(huán)境是Centos 5.5 64 BIT
A. percona-toolkit的rpm安裝方式
rpm -ivh perl-TermReadKey-2.30-1.el5.rf.x86_64.rpm rpm -ivh percona-toolkit-2.1.1-1.noarch.rpm
注意:需要安裝Term::ReadKey 包,否則會(huì)報(bào)perl(Term::ReadKey) >= 2.10 is needed by percona-toolkit-2.1.1-1.noarch錯(cuò)誤
B. percona-toolkit的編譯安裝方式
tar xzvf percona-toolkit-2.1.1.tar.gz
cd percona-toolkit-2.1.1
perl Makefile.PL
make
make test
make install
三、常用功能
1. pt-duplicate-key-checker
功能介紹:
功能為從mysql表中找出重復(fù)的索引和外鍵,這個(gè)工具會(huì)將重復(fù)的索引和外鍵都列出來(lái),并生成了刪除重復(fù)索引的語(yǔ)句,非常方便
用法介紹:
pt-duplicate-key-checker [OPTION...] [DSN]
包含比較多的選項(xiàng),具體的可以通過(guò)命令pt-duplicate-key-checker --help來(lái)查看具體支持那些選項(xiàng),我這里就不一一列舉了。DNS為數(shù)據(jù)庫(kù)或者表。
使用示例:
查看test數(shù)據(jù)庫(kù)的重復(fù)索引和外鍵使用情況使用如下命令
pt-duplicate-key-checker --host=localhost --user=root --password=zhang@123 --databases=test
2. pt-online-schema-change
功能介紹:
功能為在alter操作更改表結(jié)構(gòu)的時(shí)候不用鎖定表,也就是說(shuō)執(zhí)行alter的時(shí)候不會(huì)阻塞寫(xiě)和讀取操作,注意執(zhí)行這個(gè)工具的時(shí)候必須做好備份,操作之前最好詳細(xì)讀一下官方文檔http://www.percona.com/doc/percona-toolkit/2.1/pt-online-schema-change.html。
工作原理是創(chuàng)建一個(gè)和你要執(zhí)行alter操作的表一樣的空表結(jié)構(gòu),執(zhí)行表結(jié)構(gòu)修改,然后從原表中copy原始數(shù)據(jù)到表結(jié)構(gòu)修改后的表,當(dāng)數(shù)據(jù)copy完成以后就會(huì)將原表移走,用新表代替原表,默認(rèn)動(dòng)作是將原表drop掉。在copy數(shù)據(jù)的過(guò)程中,任何在原表的更新操作都會(huì)更新到新表,因?yàn)檫@個(gè)工具在會(huì)在原表上創(chuàng)建觸發(fā)器,觸發(fā)器會(huì)將在原表上更新的內(nèi)容更新到新表。如果表中已經(jīng)定義了觸發(fā)器這個(gè)工具就不能工作了。
用法介紹:
pt-online-schema-change [OPTIONS] DSN
options可以自行查看help,DNS為你要操作的數(shù)據(jù)庫(kù)和表。
這里有兩個(gè)參數(shù)需要介紹一下:
--dry-run 這個(gè)參數(shù)不建立觸發(fā)器,不拷貝數(shù)據(jù),也不會(huì)替換原表。只是創(chuàng)建和更改新表。
--execute 這個(gè)參數(shù)的作用和前面工作原理的介紹的一樣,會(huì)建立觸發(fā)器,來(lái)保證最新變更的數(shù)據(jù)會(huì)影響至新表。注意:如果不加這個(gè)參數(shù),這個(gè)工具會(huì)在執(zhí)行一些檢查后退出。這一舉措是為了讓使用這充分了解了這個(gè)工具的原理,同時(shí)閱讀了官方文檔。
使用示例:
在線更改表的的引擎,這個(gè)尤其在整理innodb表的時(shí)候非常有用,示例如下:
pt-online-schema-change --user=root --password=zhang@123 --host=localhost --lock-wait-time=120 --alter="ENGINE=InnoDB" D=test,t=oss_pvinfo2 --execute
從下面的日志中可以看出它的執(zhí)行過(guò)程:
Altering `test`.`oss_pvinfo2`... Creating new table... Created new table test._oss_pvinfo2_new OK. Altering new table... Altered `test`.`_oss_pvinfo2_new` OK. Creating triggers... Created triggers OK. Copying approximately 995696 rows... Copied rows OK. Swapping tables... Swapped original and new tables OK. Dropping old table... Dropped old table `test`.`_oss_pvinfo2_old` OK. Dropping triggers... Dropped triggers OK. Successfully altered `test`.`oss_pvinfo2`.
在來(lái)一個(gè)范例,大表添加字段的,語(yǔ)句如下:
pt-online-schema-change --user=root --password=zhang@123 --host=localhost --lock-wait-time=120 --alter="ADD COLUMN domain_id INT" D=test,t=oss_pvinfo2 --execute
3. pt-query-advisor
功能介紹:
根據(jù)一些規(guī)則分析查詢(xún)語(yǔ)句,對(duì)可能的問(wèn)題提出建議,這些評(píng)判規(guī)則大家可以看一下官網(wǎng)的鏈接:http://www.percona.com/doc/percona-toolkit/2.1/pt-query-advisor.html,這里就不詳細(xì)列舉了。那些查詢(xún)語(yǔ)句可以來(lái)自慢查詢(xún)文件、general日志文件或者使用pt-query-digest截獲的查詢(xún)語(yǔ)句。目前這個(gè)版本有bug,當(dāng)日志文件非常大的時(shí)候會(huì)需要很長(zhǎng)時(shí)間甚至進(jìn)入死循環(huán)。
用法介紹:
pt-query-advisor /path/to/slow-query.log pt-query-advisor --type genlog mysql.log pt-query-digest --type tcpdump.txt --print --no-report | pt-query-advisor
使用示例:
分析一個(gè)語(yǔ)句的例子:
pt-query-advisor --query "select * from aaa"
分析general log中的查詢(xún)語(yǔ)句的例子:
pt-query-advisor /data/dbdata/general.log
分析慢查詢(xún)中的查詢(xún)語(yǔ)句的例子:
pt-query-advisor /data/dbdata/localhost-slow.log
4. pt-show-grants
功能介紹:
規(guī)范化和打印mysql權(quán)限,讓你在復(fù)制、比較mysql權(quán)限以及進(jìn)行版本控制的時(shí)候更有效率!
用法介紹:
pt-show-grants [OPTION...] [DSN]
選項(xiàng)自行用help查看,DSN選項(xiàng)也請(qǐng)查看help,選項(xiàng)區(qū)分大小寫(xiě)。
使用示例:
查看指定mysql的所有用戶權(quán)限:
pt-show-grants --host='localhost' --user='root' --password='zhang@123'
查看執(zhí)行數(shù)據(jù)庫(kù)的權(quán)限:
pt-show-grants --host='localhost' --user='root' --password='zhang@123' --database='hostsops'
查看每個(gè)用戶權(quán)限生成revoke收回權(quán)限的語(yǔ)句:
pt-show-grants --host='localhost' --user='root' --password='zhang@123' --revoke
5. pt-upgrade
功能介紹:
在多臺(tái)服務(wù)器上執(zhí)行查詢(xún),并比較有什么不同!這在升級(jí)服務(wù)器的時(shí)候非常有用,可以先安裝并導(dǎo)數(shù)據(jù)到新的服務(wù)器上,然后使用這個(gè)工具跑一下sql看看有什么不同,可以找出不同版本之間的差異。
用法介紹:
pt-upgrade [OPTION...] DSN [DSN...] [FILE]
比較文件中每一個(gè)查詢(xún)語(yǔ)句在兩個(gè)主機(jī)上執(zhí)行的結(jié)果,并檢查在每個(gè)服務(wù)器上執(zhí)行的結(jié)果、錯(cuò)誤和警告。
使用示例:
只查看某個(gè)sql在兩個(gè)服務(wù)器的運(yùn)行結(jié)果范例:
pt-upgrade h='localhost' h=192.168.3.92 --user=root --password=zhang@123 --query="select * from user_data.collect_data limit 5"
查看文件中的對(duì)應(yīng)sql在兩個(gè)服務(wù)器的運(yùn)行結(jié)果范例:
pt-upgrade h='localhost' h=192.168.3.92 --user=root --password=zhang@123 aaa.sql
查看慢查詢(xún)中的對(duì)應(yīng)的查詢(xún)SQL在兩個(gè)服務(wù)器的運(yùn)行結(jié)果范例:
pt-upgrade h='localhost' h=192.168.3.92 --user=root --password=zhang@123 slow.log
此外還可以執(zhí)行compare的類(lèi)型,主要包含三個(gè)query_times,results,warnings,比如下面的例子,只比較sql的執(zhí)行時(shí)間
pt-upgrade h=192.168.3.91 h=192.168.3.92 --user=root --password=zhang@123 --query="select * from user_data.collect_data" --compare query_times
相關(guān)文章
MySQL中建表與常見(jiàn)的類(lèi)型設(shè)計(jì)陷阱詳解
這篇文章詳細(xì)講解了MySQL的建表語(yǔ)句、以及表結(jié)構(gòu)的設(shè)計(jì)規(guī)范和陷阱,并對(duì)網(wǎng)絡(luò)上常見(jiàn)的資料給出的設(shè)計(jì)方案。文中的示例代碼講解詳細(xì),感興趣的小伙伴可以了解一下2022-11-11Mysql數(shù)據(jù)表中的蠕蟲(chóng)復(fù)制使用方法
在本文中我們給大家分享了關(guān)于怎么使用Mysql數(shù)據(jù)表中的蠕蟲(chóng)復(fù)制的相關(guān)知識(shí)點(diǎn),有興趣的朋友們學(xué)習(xí)下。2019-02-02SUSE Linux下通過(guò)RPM方式卸載MySQL 5過(guò)程筆記
這篇文章主要介紹了SUSE Linux下通過(guò)RPM方式卸載MySQL 5過(guò)程筆記,本文針對(duì)使用rpm方式安裝的mysql,需要的朋友可以參考下2014-09-09mysql 8.0.16 winx64及Linux修改root用戶密碼 的方法
這篇文章主要介紹了mysql 8.0.16 winx64及Linux修改root用戶密碼 的方法,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-07-07mysql 動(dòng)態(tài)生成測(cè)試數(shù)據(jù)
mysql 動(dòng)態(tài)生成測(cè)試數(shù)據(jù)的語(yǔ)句,方便測(cè)試數(shù)據(jù)。2009-08-08mysql查詢(xún)結(jié)果命令行方式導(dǎo)出/輸出/寫(xiě)入到文件的3種方法舉例
這篇文章主要給大家介紹了關(guān)于mysql查詢(xún)結(jié)果命令行方式導(dǎo)出/輸出/寫(xiě)入到文件的3種方法, 在使用MySQL進(jìn)行數(shù)據(jù)庫(kù)操作的過(guò)程中,我們經(jīng)常需要將查詢(xún)結(jié)果導(dǎo)出到文件中以備后續(xù)分析和處理,需要的朋友可以參考下2023-08-08