快捷導(dǎo)航

為什么說(shuō)MySQL單表數(shù)據(jù)不要超過(guò)500萬(wàn)行

更新時(shí)間：2019年06月26日 09:10:17 作者：qianfeng_dashuju

在本篇文章里小編給大家整理了一篇關(guān)于為什么說(shuō)MySQL單表數(shù)據(jù)不要超過(guò)500萬(wàn)行的相關(guān)內(nèi)容，有興趣的朋友們閱讀下吧。

今天，探討一個(gè)有趣的話題：MySQL 單表數(shù)據(jù)達(dá)到多少時(shí)才需要考慮分庫(kù)分表？有人說(shuō) 2000 萬(wàn)行，也有人說(shuō) 500 萬(wàn)行。那么，你覺得這個(gè)數(shù)值多少才合適呢？

曾經(jīng)在中國(guó)互聯(lián)網(wǎng)技術(shù)圈廣為流傳著這么一個(gè)說(shuō)法：MySQL 單表數(shù)據(jù)量大于 2000 萬(wàn)行，性能會(huì)明顯下降。事實(shí)上，這個(gè)傳聞?chuàng)f(shuō)最早起源于百度。具體情況大概是這樣的，當(dāng)年的 DBA 測(cè)試 MySQL性能時(shí)發(fā)現(xiàn)，當(dāng)單表的量在 2000 萬(wàn)行量級(jí)的時(shí)候，SQL 操作的性能急劇下降，因此，結(jié)論由此而來(lái)。然后又據(jù)說(shuō)百度的工程師流動(dòng)到業(yè)界的其它公司，也帶去了這個(gè)信息，所以，就在業(yè)界流傳開這么一個(gè)說(shuō)法。

再后來(lái)，阿里巴巴《Java 開發(fā)手冊(cè)》提出單表行數(shù)超過(guò) 500 萬(wàn)行或者單表容量超過(guò) 2GB，才推薦進(jìn)行分庫(kù)分表。對(duì)此，有阿里的黃金鐵律支撐，所以，很多人設(shè)計(jì)大數(shù)據(jù)存儲(chǔ)時(shí)，多會(huì)以此為標(biāo)準(zhǔn)，進(jìn)行分表操作。

那么，你覺得這個(gè)數(shù)值多少才合適呢？為什么不是 300 萬(wàn)行，或者是 800 萬(wàn)行，而是 500 萬(wàn)行？也許你會(huì)說(shuō)這個(gè)可能就是阿里的最佳實(shí)戰(zhàn)的數(shù)值吧？那么，問(wèn)題又來(lái)了，這個(gè)數(shù)值是如何評(píng)估出來(lái)的呢？稍等片刻，請(qǐng)你小小思考一會(huì)兒。

事實(shí)上，這個(gè)數(shù)值和實(shí)際記錄的條數(shù)無(wú)關(guān)，而與 MySQL 的配置以及機(jī)器的硬件有關(guān)。因?yàn)椋琈ySQL 為了提高性能，會(huì)將表的索引裝載到內(nèi)存中。InnoDB buffer size 足夠的情況下，其能完成全加載進(jìn)內(nèi)存，查詢不會(huì)有問(wèn)題。但是，當(dāng)單表數(shù)據(jù)庫(kù)到達(dá)某個(gè)量級(jí)的上限時(shí)，導(dǎo)致內(nèi)存無(wú)法存儲(chǔ)其索引，使得之后的 SQL 查詢會(huì)產(chǎn)生磁盤 IO，從而導(dǎo)致性能下降。當(dāng)然，這個(gè)還有具體的表結(jié)構(gòu)的設(shè)計(jì)有關(guān)，最終導(dǎo)致的問(wèn)題都是內(nèi)存限制。這里，增加硬件配置，可能會(huì)帶來(lái)立竿見影的性能提升哈。

那么，我對(duì)于分庫(kù)分表的觀點(diǎn)是，需要結(jié)合實(shí)際需求，不宜過(guò)度設(shè)計(jì)，在項(xiàng)目一開始不采用分庫(kù)與分表設(shè)計(jì)，而是隨著業(yè)務(wù)的增長(zhǎng)，在無(wú)法繼續(xù)優(yōu)化的情況下，再考慮分庫(kù)與分表提高系統(tǒng)的性能。對(duì)此，阿里巴巴《Java 開發(fā)手冊(cè)》補(bǔ)充到：如果預(yù)計(jì)三年后的數(shù)據(jù)量根本達(dá)不到這個(gè)級(jí)別，請(qǐng)不要在創(chuàng)建表時(shí)就分庫(kù)分表。那么，回到一開始的問(wèn)題，你覺得這個(gè)數(shù)值多少才合適呢？我的建議是，根據(jù)自身的機(jī)器的情況綜合評(píng)估，如果心里沒有標(biāo)準(zhǔn)，那么暫時(shí)以 500 萬(wàn)行作為一個(gè)統(tǒng)一的標(biāo)準(zhǔn)，相對(duì)而言算是一個(gè)比較折中的數(shù)值。

我們?cè)賮?lái)看一下關(guān)于SQL書寫的一些注意點(diǎn)，會(huì)給大家?guī)?lái)幫助

sql的編寫需要注意優(yōu)化

使用limit對(duì)查詢結(jié)果的記錄進(jìn)行限定
避免select *，將需要查找的字段列出來(lái)
使用連接（join）來(lái)代替子查詢
拆分大的delete或insert語(yǔ)句
可通過(guò)開啟慢查詢?nèi)罩緛?lái)找出較慢的SQL
不做列運(yùn)算：SELECT id WHERE age + 1 = 10，任何對(duì)列的操作都將導(dǎo)致表掃描，它包括數(shù)據(jù)庫(kù)教程函數(shù)、計(jì)算表達(dá)式等等，查詢時(shí)要盡可能將操作移至等號(hào)右邊
sql語(yǔ)句盡可能簡(jiǎn)單：一條sql只能在一個(gè)cpu運(yùn)算；大語(yǔ)句拆小語(yǔ)句，減少鎖時(shí)間；一條大sql可以堵死整個(gè)庫(kù)
OR改寫成IN：OR的效率是n級(jí)別，IN的效率是log(n)級(jí)別，in的個(gè)數(shù)建議控制在200以內(nèi)
不用函數(shù)和觸發(fā)器，在應(yīng)用程序?qū)崿F(xiàn)
避免%xxx式查詢
少用JOIN
使用同類型進(jìn)行比較，比如用'123'和'123'比，123和123比
盡量避免在WHERE子句中使用!=或<>操作符，否則將引擎放棄使用索引而進(jìn)行全表掃描
對(duì)于連續(xù)數(shù)值，使用BETWEEN不用IN：SELECT id FROM t WHERE num BETWEEN 1 AND 5
列表數(shù)據(jù)不要拿全表，要使用LIMIT來(lái)分頁(yè)，每頁(yè)數(shù)量也不要太大