一個成熟的數(shù)據(jù)庫架構(gòu)并不是一開始設(shè)計就具備高可用、高伸縮等特性的，它是隨著用戶量的增加，基礎(chǔ)架構(gòu)才逐漸完善。這篇文章主要談?wù)凪ySQL數(shù)據(jù)庫在發(fā)展周期中所面臨的問題及優(yōu)化方案，暫且拋開前端應(yīng)用不說，大致分為以下五個階段：

階段一：數(shù)據(jù)庫表設(shè)計

項目立項后，開發(fā)部門根據(jù)產(chǎn)品部門需求開發(fā)項目。
開發(fā)工程師在開發(fā)項目初期會對表結(jié)構(gòu)設(shè)計。對于數(shù)據(jù)庫來說，表結(jié)構(gòu)設(shè)計很重要，如果設(shè)計不當(dāng)，會直接影響到用戶訪問網(wǎng)站速度，用戶體驗不好！這種情況具體影響因素有很多，例如慢查詢（低效的查詢語句）、沒有適當(dāng)建立索引、數(shù)據(jù)庫堵塞（鎖）等。當(dāng)然，有測試部門的團(tuán)隊，會做產(chǎn)品測試，找Bug。
由于開發(fā)工程師重視點不同，初期不會考慮太多數(shù)據(jù)庫設(shè)計是否合理，而是盡快完成功能實現(xiàn)和交付。等項目上線有一定訪問量后，隱藏的問題就會暴露，這時再去修改就不是這么容易的事了！

階段二：數(shù)據(jù)庫部署

是時候運維工程師出場了，項目上線。
項目初期訪問量一般是寥寥無幾，此階段Web+數(shù)據(jù)庫單臺部署足以應(yīng)對在1000左右的QPS（每秒查詢率）?？紤]到單點故障，應(yīng)做到高可用性，可采用MySQL主從復(fù)制+Keepalived實現(xiàn)雙機(jī)熱備。主流HA軟件有：Keepalived（推薦）、Heartbeat。

階段三：數(shù)據(jù)庫性能優(yōu)化 

如果將MySQL部署到普通的X86服務(wù)器上，在不經(jīng)過任何優(yōu)化情況下，MySQL理論值正?？梢蕴幚?500左右QPS，經(jīng)過優(yōu)化后，有可能會提升到2000左右QPS。否則，訪問量當(dāng)達(dá)到1500左右并發(fā)連接時，數(shù)據(jù)庫處理性能可能響應(yīng)就會慢，而且硬件資源還比較富裕，這時就該考慮性能優(yōu)化問題了。那么怎樣能讓數(shù)據(jù)庫發(fā)揮最大性能呢？主要從硬件配置、數(shù)據(jù)庫配置、架構(gòu)方面著手，具體分為以下：

3.1 硬件配置

如果有條件一定要SSD固態(tài)硬盤代替SAS機(jī)械硬盤，將RAID級別調(diào)整為RAID1+0，相對于RAID1和RAID5有更好的讀寫性能，畢竟數(shù)據(jù)庫的壓力主要來自磁盤I/O方面。
Linux內(nèi)核有一個特性，會從物理內(nèi)存中劃分出緩存區(qū)（系統(tǒng)緩存和數(shù)據(jù)緩存）來存放熱數(shù)據(jù)，通過文件系統(tǒng)延遲寫入機(jī)制，等滿足條件時（如緩存區(qū)大小到達(dá)一定百分比或者執(zhí)行sync命令）才會同步到磁盤。也就是說物理內(nèi)存越大，分配緩存區(qū)越大，緩存數(shù)據(jù)越多。當(dāng)然，服務(wù)器故障會丟失一定的緩存數(shù)據(jù)。建議物理內(nèi)存至少富裕50%以上。

3.2 數(shù)據(jù)庫配置優(yōu)化

MySQL應(yīng)用最廣泛的有兩種存儲引擎：一個是MyISAM，不支持事務(wù)處理，讀性能處理快，表級別鎖。另一個是InnoDB，支持事務(wù)處理（ACID屬性），設(shè)計目標(biāo)是為大數(shù)據(jù)處理，行級別鎖。
表鎖：開銷小，鎖定粒度大，發(fā)生死鎖概率高，相對并發(fā)也低。
行鎖：開銷大，鎖定粒度小，發(fā)生死鎖概率低，相對并發(fā)也高。
為什么會出現(xiàn)表鎖和行鎖呢？主要為保證數(shù)據(jù)完整性。舉個例子，一個用戶在操作一張表，其他用戶也想操作這張表，那么就要等第一個用戶操作完，其他用戶才能操作，表鎖和行鎖就是這個作用。否則多個用戶同時操作一張表，肯定會數(shù)據(jù)產(chǎn)生沖突或者異常。
根據(jù)這些方面看，使用InnoDB存儲引擎是最好的選擇，也是MySQL5.5+版本默認(rèn)存儲引擎。每個存儲引擎相關(guān)運行參數(shù)比較多，以下列出可能影響數(shù)據(jù)庫性能的參數(shù)。
公共參數(shù)默認(rèn)值：

max_connections = 151
# 同時處理最大連接數(shù)，建議設(shè)置最大連接數(shù)是上限連接數(shù)的80%左右
sort_buffer_size = 2M
# 查詢排序時緩沖區(qū)大小，只對order by和group by起作用，建議增大為16M
open_files_limit = 1024 
# 打開文件數(shù)限制，如果show global status like 'open_files'查看的值等于或者大于open_files_limit值時，程序會無法連接數(shù)據(jù)庫或卡死

MyISAM參數(shù)默認(rèn)值：

key_buffer_size = 16M
# 索引緩存區(qū)大小，一般設(shè)置物理內(nèi)存的30-40%
read_buffer_size = 128K 
# 讀操作緩沖區(qū)大小，建議設(shè)置16M或32M
query_cache_type = ON
# 打開查詢緩存功能
query_cache_limit = 1M 
# 查詢緩存限制，只有1M以下查詢結(jié)果才會被緩存，以免結(jié)果數(shù)據(jù)較大把緩存池覆蓋
query_cache_size = 16M 
# 查看緩沖區(qū)大小，用于緩存SELECT查詢結(jié)果，下一次有同樣SELECT查詢將直接從緩存池返回結(jié)果，可適當(dāng)成倍增加此值

InnoDB參數(shù)默認(rèn)值：

innodb_buffer_pool_size = 128M
# 索引和數(shù)據(jù)緩沖區(qū)大小，建議設(shè)置物理內(nèi)存的70%左右
innodb_buffer_pool_instances = 1  
# 緩沖池實例個數(shù)，推薦設(shè)置4個或8個
innodb_flush_log_at_trx_commit = 1 
# 關(guān)鍵參數(shù)，0代表大約每秒寫入到日志并同步到磁盤，數(shù)據(jù)庫故障會丟失1秒左右事務(wù)數(shù)據(jù)。1為每執(zhí)行一條SQL后寫入到日志并同步到磁盤，I/O開銷大，執(zhí)行完SQL要等待日志讀寫，效率低。2代表只把日志寫入到系統(tǒng)緩存區(qū)，再每秒同步到磁盤，效率很高，如果服務(wù)器故障，才會丟失事務(wù)數(shù)據(jù)。對數(shù)據(jù)安全性要求不是很高的推薦設(shè)置2，性能高，修改后效果明顯。
innodb_file_per_table = OFF 
# 是否共享表空間，5.7+版本默認(rèn)ON，共享表空間idbdata文件不斷增大，影響一定的I/O性能。建議開啟獨立表空間模式，每個表的索引和數(shù)據(jù)都存在自己獨立的表空間中，可以實現(xiàn)單表在不同數(shù)據(jù)庫中移動。
innodb_log_buffer_size = 8M 
# 日志緩沖區(qū)大小，由于日志最長每秒鐘刷新一次，所以一般不用超過16M

3.3 系統(tǒng)內(nèi)核參數(shù)優(yōu)化

大多數(shù)MySQL都部署在linux系統(tǒng)上，所以操作系統(tǒng)的一些參數(shù)也會影響到MySQL性能，以下對Linux內(nèi)核參數(shù)進(jìn)行適當(dāng)優(yōu)化

net.ipv4.tcp_fin_timeout = 30
# TIME_WAIT超時時間，默認(rèn)是60s
net.ipv4.tcp_tw_reuse = 1  
# 1表示開啟復(fù)用，允許TIME_WAIT socket重新用于新的TCP連接，0表示關(guān)閉
net.ipv4.tcp_tw_recycle = 1  
# 1表示開啟TIME_WAIT socket快速回收，0表示關(guān)閉
net.ipv4.tcp_max_tw_buckets = 4096  
# 系統(tǒng)保持TIME_WAIT socket最大數(shù)量，如果超出這個數(shù)，系統(tǒng)將隨機(jī)清除一些TIME_WAIT并打印警告信息
net.ipv4.tcp_max_syn_backlog = 4096
# 進(jìn)入SYN隊列最大長度，加大隊列長度可容納更多的等待連接
在Linux系統(tǒng)中，如果進(jìn)程打開的文件句柄數(shù)量超過系統(tǒng)默認(rèn)值1024，就會提示“too many files open”信息，所以要調(diào)整打開文件句柄限制。
重啟永久生效：
# vi /etc/security/limits.conf 
* soft nofile 65535
* hard nofile 65535
當(dāng)前用戶立即生效：
# ulimit -SHn 65535 

階段四：數(shù)據(jù)庫架構(gòu)擴(kuò)展

隨著業(yè)務(wù)量越來越大，單臺數(shù)據(jù)庫服務(wù)器性能已無法滿足業(yè)務(wù)需求，該考慮增加服務(wù)器擴(kuò)展架構(gòu)了。主要思想是分解單臺數(shù)據(jù)庫負(fù)載，突破磁盤I/O性能，熱數(shù)據(jù)存放緩存中，降低磁盤I/O訪問頻率。

4.1 增加緩存

給數(shù)據(jù)庫增加緩存系統(tǒng)，把熱數(shù)據(jù)緩存到內(nèi)存中，如果緩存中有請求的數(shù)據(jù)就不再去請求MySQL，減少數(shù)據(jù)庫負(fù)載。緩存實現(xiàn)有本地緩存和分布式緩存，本地緩存是將數(shù)據(jù)緩存到本地服務(wù)器內(nèi)存中或者文件中。分布式緩存可以緩存海量數(shù)據(jù)，擴(kuò)展性好，主流的分布式緩存系統(tǒng)：memcached、redis，memcached性能穩(wěn)定，數(shù)據(jù)緩存在內(nèi)存中，速度很快，QPS理論可達(dá)8w左右。如果想數(shù)據(jù)持久化就選擇用redis，性能不低于memcached。
工作過程：

4.2 主從復(fù)制與讀寫分離

在生產(chǎn)環(huán)境中，業(yè)務(wù)系統(tǒng)通常讀多寫少，可部署一主多從架構(gòu)，主數(shù)據(jù)庫負(fù)責(zé)寫操作，并做雙機(jī)熱備，多臺從數(shù)據(jù)庫做負(fù)載均衡，負(fù)責(zé)讀操作。主流的負(fù)載均衡器：LVS、HAProxy、Nginx。
怎么來實現(xiàn)讀寫分離呢？大多數(shù)企業(yè)是在代碼層面實現(xiàn)讀寫分離，效率高。另一個種方式通過代理程序?qū)崿F(xiàn)讀寫分離，企業(yè)中應(yīng)用較少，會增加中間件消耗。主流中間件代理系統(tǒng)有MyCat、Atlas等。
在這種MySQL主從復(fù)制拓?fù)浼軜?gòu)中，分散單臺負(fù)載，大大提高數(shù)據(jù)庫并發(fā)能力。如果一臺從服務(wù)器能處理1500 QPS，那么3臺就能處理4500 QPS，而且容易橫向擴(kuò)展。
有時，面對大量寫操作的應(yīng)用時，單臺寫性能達(dá)不到業(yè)務(wù)需求。就可以做雙向復(fù)制（雙主），但有個問題得注意：兩臺主服務(wù)器如果都對外提供讀寫操作，就可能遇到數(shù)據(jù)不一致現(xiàn)象，產(chǎn)生這個原因是程序有同時操作兩臺數(shù)據(jù)庫幾率，同時的更新操作會造成兩臺數(shù)據(jù)庫數(shù)據(jù)發(fā)生沖突或者不一致。
可設(shè)置每個表ID字段自增唯一：auto_increment_increment和auto_increment_offset，也可以寫算法生成隨機(jī)唯一。
官方近兩年推出的MGR（多主復(fù)制）集群也可以考慮下。

4.3 分庫

分庫是根據(jù)業(yè)務(wù)將數(shù)據(jù)庫中相關(guān)的表分離到不同的數(shù)據(jù)庫中，例如web、bbs、blog等庫。如果業(yè)務(wù)量很大，還可將分離后的數(shù)據(jù)庫做主從復(fù)制架構(gòu)，進(jìn)一步避免單庫壓力過大。4.4 分表

數(shù)據(jù)量的日劇增加，數(shù)據(jù)庫中某個表有幾百萬條數(shù)據(jù)，導(dǎo)致查詢和插入耗時太長，怎么能解決單表壓力呢？你應(yīng)該考慮把這個表拆分成多個小表，來減輕單個表的壓力，提高處理效率，此方式稱為分表。
分表技術(shù)比較麻煩，要修改程序代碼里的SQL語句，還要手動去創(chuàng)建其他表，也可以用merge存儲引擎實現(xiàn)分表，相對簡單許多。分表后，程序是對一個總表進(jìn)行操作，這個總表不存放數(shù)據(jù)，只有一些分表的關(guān)系，以及更新數(shù)據(jù)的方式，總表會根據(jù)不同的查詢，將壓力分到不同的小表上，因此提高并發(fā)能力和磁盤I/O性能。
分表分為垂直拆分和水平拆分：
垂直拆分：把原來的一個很多字段的表拆分多個表，解決表的寬度問題。你可以把不常用的字段單獨放到一個表中，也可以把大字段獨立放一個表中，或者把關(guān)聯(lián)密切的字段放一個表中。
水平拆分：把原來一個表拆分成多個表，每個表的結(jié)構(gòu)都一樣，解決單表數(shù)據(jù)量大的問題。

4.5 分區(qū)

分區(qū)就是把一張表的數(shù)據(jù)根據(jù)表結(jié)構(gòu)中的字段（如range、list、hash等）分成多個區(qū)塊，這些區(qū)塊可以在一個磁盤上，也可以在不同的磁盤上，分區(qū)后，表面上還是一張表，但數(shù)據(jù)散列在多個位置，這樣一來，多塊硬盤同時處理不同的請求，從而提高磁盤I/O讀寫性能。
注：增加緩存、分庫、分表和分區(qū)主要由程序猿或DBA來實現(xiàn)。

階段五：數(shù)據(jù)庫維護(hù)

數(shù)據(jù)庫維護(hù)是數(shù)據(jù)庫工程師或運維工程師的工作，包括系統(tǒng)監(jiān)控、性能分析、性能調(diào)優(yōu)、數(shù)據(jù)庫備份和恢復(fù)等主要工作。

5.1 性能狀態(tài)關(guān)鍵指標(biāo)

專業(yè)術(shù)語：QPS（Queries Per Second，每秒查詢書）和TPS（Transactions Per Second）
通過show status查看運行狀態(tài)，會有300多條狀態(tài)信息記錄，其中有幾個值幫可以我們計算出QPS和TPS，如下：

Uptime：服務(wù)器已經(jīng)運行的實際，單位秒
Questions：已經(jīng)發(fā)送給數(shù)據(jù)庫查詢數(shù)
Com_select：查詢次數(shù)，實際操作數(shù)據(jù)庫的
Com_insert：插入次數(shù)
Com_delete：刪除次數(shù)
Com_update：更新次數(shù)
Com_commit：事務(wù)次數(shù)
Com_rollback：回滾次數(shù)

那么，計算方法來了，基于Questions計算出QPS

mysql> show global status like 'Questions';
mysql> show global status like 'Uptime';
QPS = Questions / Uptime

基于Com_commit和Com_rollback計算出TPS：

mysql> show global status like 'Com_commit';
mysql> show global status like 'Com_rollback';
mysql> show global status like 'Uptime';
TPS = (Com_commit + Com_rollback) / Uptime

另一計算方式：

基于Com_select、Com_insert、Com_delete、Com_update計算出QPS：  
mysql> show global status where Variable_name in('com_select','com_insert','com_delete','com_update');
等待1秒再執(zhí)行，獲取間隔差值，第二次每個變量值減去第一次對應(yīng)的變量值，就是QPS。

TPS計算方法：

mysql> show global status where Variable_name in('com_insert','com_delete','com_update');
計算TPS，就不算查詢操作了，計算出插入、刪除、更新四個值即可。

經(jīng)網(wǎng)友對這兩個計算方式的測試得出，當(dāng)數(shù)據(jù)庫中myisam表比較多時，使用Questions計算比較準(zhǔn)確。當(dāng)數(shù)據(jù)庫中innodb表比較多時，則以Com_*計算比較準(zhǔn)確。

5.2 開啟慢查詢?nèi)罩?

MySQL開啟慢查詢?nèi)罩?，分析出哪條SQL語句比較慢，支持動態(tài)開啟：

mysql> set global slow-query-log=on 
# 開啟慢查詢?nèi)罩?
mysql> set global slow_query_log_file='/var/log/mysql/mysql-slow.log'; 
# 指定慢查詢?nèi)罩疚募恢?
mysql> set global log_queries_not_using_indexes=on;  
# 記錄沒有使用索引的查詢 
mysql> set global long_query_time=1;  
# 只記錄處理時間1s以上的慢查詢
分析慢查詢?nèi)罩?，可以使用MySQL自帶的mysqldumpslow工具，分析的日志較為簡單。
mysqldumpslow -t 3 /var/log/mysql/mysql-slow.log  
# 查看最慢的前三個查詢
也可以使用percona公司的pt-query-digest工具，日志分析功能全面，可分析slow log、binlog、general log。
分析慢查詢?nèi)罩荆簆t-query-digest /var/log/mysql/mysql-slow.log
分析binlog日志：mysqlbinlog mysql-bin.000001 >mysql-bin.000001.sql 
pt-query-digest --type=binlog mysql-bin.000001.sql 
分析普通日志：pt-query-digest --type=genlog localhost.log

5.3 數(shù)據(jù)庫備份

備份數(shù)據(jù)庫是最基本的工作，也是最重要的，否則后果很嚴(yán)重，你懂得！高頻率的備份策略，選用一個穩(wěn)定快速的工具至關(guān)重要。數(shù)據(jù)庫大小在2G以內(nèi)，建議使用官方的邏輯備份工具mysqldump。超過2G以上，建議使用percona公司的物理備份工具xtrabackup，否則慢的跟蝸牛似得。這兩個工具都支持InnoDB存儲引擎下熱備，不影響業(yè)務(wù)讀寫操作。

5.4 數(shù)據(jù)庫修復(fù)

有時候MySQL服務(wù)器突然斷電、異常關(guān)閉，會導(dǎo)致表損壞，無法讀取表數(shù)據(jù)。這時就可以用到MySQL自帶的兩個工具進(jìn)行修復(fù)，myisamchk和mysqlcheck。前者只能修復(fù)MyISAM表，并且停止數(shù)據(jù)庫，后者M(jìn)yISAM和InnoDB都可以，在線修復(fù)。
注意：修復(fù)前最好先備份數(shù)據(jù)庫。

myisamchk常用參數(shù)：
 -f --force  強(qiáng)制修復(fù)，覆蓋老的臨時文件，一般不使用
 -r --recover 恢復(fù)模式
 -q --quik   快速恢復(fù)
 -a --analyze 分析表
 -o --safe-recover 老的恢復(fù)模式，如果-r無法修復(fù)，可以使用此參數(shù)試試
 -F --fast   只檢查沒有正常關(guān)閉的表

例如：myisamchk -r -q *.MYI

mysqlcheck常用參數(shù)：
 -a --all-databases 檢查所有的庫
 -r --repair  修復(fù)表
 -c --check  檢查表，默認(rèn)選項
 -a --analyze 分析表
 -o --optimize 優(yōu)化表
 -q --quik  最快檢查或修復(fù)表
 -F --fast  只檢查沒有正常關(guān)閉的表

例如：mysqlcheck -r -q -uroot -p123456 weibo 

5.5 MySQL服務(wù)器性能分析

重點關(guān)注：
id：CPU利用率百分比，平均小于60%正常，但已經(jīng)比較繁忙了。
wa：CPU等待磁盤IO響應(yīng)時間，一般大于5說明磁盤讀寫量大。

KB_read/s、KB_wrtn/s 每秒讀寫數(shù)據(jù)量，主要根據(jù)磁盤每秒最高讀寫速度評估。

r/s、w/s：每秒讀寫請求次數(shù)，可以理解為IOPS（每秒輸入輸出量），是衡量磁盤性能的主要指標(biāo)之一。
await：IO平均每秒響應(yīng)時間，一般大于5說明磁盤響應(yīng)慢，超過自身性能。
util：磁盤利用率百分比，平均小于60%正常，但已經(jīng)比較繁忙了。

小結(jié)

由于關(guān)系型數(shù)據(jù)庫初衷設(shè)計限制，在大數(shù)據(jù)處理時會顯得力不從心。因此NoSQL（非關(guān)系型數(shù)據(jù)庫）火起來了，天生勵志，具備分布式、高性能、高可靠等特性，彌補(bǔ)了關(guān)系型數(shù)據(jù)庫某方面先天性不足，非常適合存儲非結(jié)構(gòu)化數(shù)據(jù)。主流NoSQL數(shù)據(jù)庫有：MongoDB、HBase、Cassandra等。

單純數(shù)據(jù)庫層面優(yōu)化效果提升并不多明顯，主要還是要根據(jù)業(yè)務(wù)場景選擇合適的數(shù)據(jù)庫！

到此這篇關(guān)于簡單了解MySQL數(shù)據(jù)庫優(yōu)化技巧的文章就介紹到這了,更多相關(guān)MySQL數(shù)據(jù)庫優(yōu)化技巧內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論