引言

今天（August 5, 2015 5:34 PM）在給數(shù)據(jù)庫(kù)中一張表的結(jié)構(gòu)做一次調(diào)整，添加了幾個(gè)字段，后面對(duì)之前的數(shù)據(jù)進(jìn)行刷新，刷新的內(nèi)容是：對(duì)其中的一個(gè)已有字段url進(jìn)行匹配，然后更新新加的字段type和typeid。后來(lái)就寫(xiě)了個(gè)shell腳本來(lái)刷數(shù)據(jù)，結(jié)果運(yùn)行shell腳本后我就懵了，怎么這么慢~~~

情景再現(xiàn)

CREATE TABLE `fuckSpeed` (
 `uin` bigint(20) unsigned NOT NULL DEFAULT 0,
 `id` int(11) unsigned NOT NULL DEFAULT 0,
 `url` varchar(255) NOT NULL DEFAULT '',
 `type` int(11) unsigned NOT NULL DEFAULT 0,
 `typeid` varchar(64) NOT NULL DEFAULT '',
 ......
 KEY `uin_id` (`uin`,`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

表結(jié)構(gòu)大概是上面這樣的（省略了好多字段），表中只有一個(gè)聯(lián)合索引uin_id，而我在更新的時(shí)候是下面的思路：

首先根據(jù)一個(gè)id范圍獲取到一定數(shù)量的數(shù)據(jù)

select id,url from funkSpeed where id>=101 and id<=200;

遍歷所有的數(shù)據(jù)，對(duì)每一條數(shù)據(jù)進(jìn)行更新
#首先對(duì)數(shù)據(jù)進(jìn)行處理，匹配獲取type和typeid

update fuckSpeed set type=[type],typeid=[typeid] where id=[id]

按照上面的思路搞了之后，發(fā)現(xiàn)更新特別的慢，平均每秒鐘3~5個(gè)左右，我也是醉了，我看看要更新的數(shù)據(jù)，總共有32w+條，這樣更新下來(lái)大概需要24h+，也就是1天還要多，額~~哭了，想想肯定是哪里出問(wèn)題了。

發(fā)現(xiàn)問(wèn)題

首先我想到的是是不是因?yàn)橹挥幸粋€(gè)進(jìn)程在更新，導(dǎo)致很慢，我啟動(dòng)了5個(gè)進(jìn)程，將id分段了，就像下面這樣

./update_url.sh 0 10000 &
./update_url.sh 10000 20001 &
./update_url.sh 20001 30001 &
./update_url.sh 30002 40002 &
./update_url.sh 40003 50003 &

運(yùn)行之后發(fā)現(xiàn)還是那樣，速度沒(méi)有提升多少，還是每秒鐘更新3~5個(gè)左右，想想也是啊，時(shí)間不可能花費(fèi)在插入數(shù)據(jù)之前的那些步驟（匹配、組裝sql語(yǔ)句、。。。），應(yīng)該是插入的時(shí)候有問(wèn)題

再來(lái)看看我的sql語(yǔ)句select id,url from funkSpeed where id>=101 and id<=200;，這里，試著在命令行執(zhí)行了下，結(jié)果如下

mysql> select id,url from funkSpeed where id>=0 and id<=200;
Empty set (0.18 sec)

竟然花了0.18秒，這個(gè)時(shí)候我猜恍然大悟，聯(lián)合索引我沒(méi)有使用到，聯(lián)合索引生效的條件是——必須要有左邊的字段，用explain驗(yàn)證下，果然是這樣：

mysql> explain id,url from funkSpeed where id>=0 and id<=200;
+-------------+------+---------------+------+---------+------+--------+-------------+
| table    | type | possible_keys | key | key_len | ref | rows  | Extra    |
+-------------+------+---------------+------+---------+------+--------+-------------+
| funkSpeed  | ALL | NULL     | NULL | NULL  | NULL | 324746 | Using where |
+-------------+------+---------------+------+---------+------+--------+-------------+
1 row in set (0.00 sec)

然后使用聯(lián)合索引：

mysql> select uin,id from funkSpeed where uin=10023 and id=162;
+------------+----------+
| uin    |  id   |
+------------+----------+
| 10023   | 162   |
+------------+----------+
1 row in set (0.00 sec)

mysql> explain select uin,id from funkSpeed where uin=10023 and id=162;
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| table    | type | possible_keys | key   | key_len | ref     | rows | Extra    |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
| funkSpeed  | ref | uin_id    | uin_id  | 12   | const,const |  4 | Using index |
+-------------+------+---------------+----------+---------+-------------+------+-------------+
1 row in set (0.00 sec)

可以看到幾乎是秒查，這個(gè)時(shí)候基本可以斷定問(wèn)題是出現(xiàn)在索引這個(gè)地方了

我select的時(shí)候次數(shù)比較少，每?jī)蓚€(gè)select之間id相差10000，所以這里可以忽略掉，而且這里沒(méi)辦法優(yōu)化，除非在id上面添加索引。

問(wèn)題發(fā)生在update fuckSpeed set type=[type],typeid=[typeid] where id=[id]，這里在更新的時(shí)候也是會(huì)用到查詢的，我的mysql版本是5.5，不能explain update，不然肯定可以驗(yàn)證我所說(shuō)的，這里要更新32w+條數(shù)據(jù)，每條數(shù)據(jù)都會(huì)去更新，每條數(shù)據(jù)0.2s左右，這太嚇人了~~

解決問(wèn)題

問(wèn)題找到了，解決起來(lái)就容易多了~~

select的時(shí)候加了一個(gè)字段uin，改為下面這樣select uin,id,url from funkSpeed where id>=101 and id<=200;，然后更新的時(shí)候使用update fuckSpeed set type=[type],typeid=[typeid] where uin=[uin] id=[id]，這樣一來(lái)索引就是用上了。

三下五除二改好了代碼，試著啟動(dòng)了一個(gè)進(jìn)程，看看效果如何，果然，效果提升的不是一點(diǎn)點(diǎn)，平均30+次/s，這樣大概3個(gè)小時(shí)左右就可以完成所有的更新了。

總結(jié)Mysql語(yǔ)句級(jí)優(yōu)化：

1.   性能查的讀語(yǔ)句，在innodb中統(tǒng)計(jì)行數(shù),建議另外弄一張統(tǒng)計(jì)表，采用myisam，定期做統(tǒng)計(jì).一般的對(duì)統(tǒng)計(jì)的數(shù)據(jù)不會(huì)要求太精準(zhǔn)的情況下適用。

2.   盡量不要在數(shù)據(jù)庫(kù)中做運(yùn)算。

3.   避免負(fù)向查詢和%前綴模糊查詢。

4.   不在索引列做運(yùn)算或者使用函數(shù)。

5.   不要在生產(chǎn)環(huán)境程序中使用select * from 的形式查詢數(shù)據(jù)。只查詢需要使用的列。

6.   查詢盡可能使用limit減少返回的行數(shù)，減少數(shù)據(jù)傳輸時(shí)間和帶寬浪費(fèi)。

7.   where子句盡可能對(duì)查詢列使用函數(shù)，因?yàn)閷?duì)查詢列使用函數(shù)用不到索引。

8.   避免隱式類型轉(zhuǎn)換，例如字符型一定要用''，數(shù)字型一定不要使用''。

9.   所有的SQL關(guān)鍵詞用大寫(xiě)，養(yǎng)成良好的習(xí)慣，避免SQL語(yǔ)句重復(fù)編譯造成系統(tǒng)資源的浪費(fèi)。

10. 聯(lián)表查詢的時(shí)候，記得把小結(jié)果集放在前面，遵循小結(jié)果集驅(qū)動(dòng)大結(jié)果集的原則。

11. 開(kāi)啟慢查詢，定期用explain優(yōu)化慢查詢中的SQL語(yǔ)句。

最新評(píng)論