MySQL千萬級(jí)數(shù)據(jù)的大表優(yōu)化解決方案
mysql數(shù)據(jù)庫中的表數(shù)據(jù)量幾千萬后,查詢速度會(huì)很慢,日常各種卡慢,嚴(yán)重影響使用體驗(yàn)。在考慮升級(jí)數(shù)據(jù)庫或者換用大數(shù)據(jù)解決方案前,必須優(yōu)化現(xiàn)有mysql數(shù)據(jù)庫表設(shè)計(jì)和sql語句。
1.數(shù)據(jù)庫設(shè)計(jì)和表創(chuàng)建時(shí)就要考慮性能
mysql數(shù)據(jù)庫本身高度靈活,造成性能不足,嚴(yán)重依賴開發(fā)人員能力。也就是說開發(fā)人員能力高,則mysql性能高。這也是很多關(guān)系型數(shù)據(jù)庫的通病。
設(shè)計(jì)表時(shí)要注意:
表字段避免null值出現(xiàn),null值很難查詢優(yōu)化且占用額外的索引空間,推薦默認(rèn)數(shù)字0代替null。 盡量使用INT而非BIGINT,如果非負(fù)則加上UNSIGNED(這樣數(shù)值容量會(huì)擴(kuò)大一倍),當(dāng)然能使用TINYINT、SMALLINT、MEDIUM_INT更好。 使用枚舉或整數(shù)代替字符串類型 盡量使用TIMESTAMP而非DATETIME 單表不要有太多字段,建議在20以內(nèi) 用整型來存IP
索引
索引并不是越多越好,要根據(jù)查詢有針對(duì)性的創(chuàng)建,考慮在WHERE和ORDER BY命令上涉及的列建立索引,可根據(jù)EXPLAIN來查看是否用了索引還是全表掃描 應(yīng)盡量避免在WHERE子句中對(duì)字段進(jìn)行NULL值判斷,否則將導(dǎo)致引擎放棄使用索引而進(jìn)行全表掃描 值分布很稀少的字段不適合建索引,例如"性別"這種只有兩三個(gè)值的字段 字符字段只建前綴索引 字符字段最好不要做主鍵 不用外鍵,由程序保證約束 盡量不用UNIQUE,由程序保證約束 使用多列索引時(shí)主意順序和查詢條件保持一致,同時(shí)刪除不必要的單列索引
簡言之就是使用合適的數(shù)據(jù)類型,選擇合適的索引
選擇合適的數(shù)據(jù)類型 (1)使用可存下數(shù)據(jù)的最小的數(shù)據(jù)類型,整型 < date,time < char,varchar < blob (2)使用簡單的數(shù)據(jù)類型,整型比字符處理開銷更小,因?yàn)樽址谋容^更復(fù)雜。如,int類型存儲(chǔ)時(shí)間類型,bigint類型轉(zhuǎn)ip函數(shù) (3)使用合理的字段屬性長度,固定長度的表會(huì)更快。使用enum、char而不是varchar (4)盡可能使用not null定義字段 (5)盡量少用text,非用不可最好分表 選擇合適的索引列 (1)查詢頻繁的列,在where,group by,order by,on從句中出現(xiàn)的列 (2)where條件中<,<=,=,>,>=,between,in,以及l(fā)ike 字符串+通配符(%)出現(xiàn)的列 (3)長度小的列,索引字段越小越好,因?yàn)閿?shù)據(jù)庫的存儲(chǔ)單位是頁,一頁中能存下的數(shù)據(jù)越多越好 (4)離散度大(不同的值多)的列,放在聯(lián)合索引前面。查看離散度,通過統(tǒng)計(jì)不同的列值來實(shí)現(xiàn),count越大,離散程度越高:
引擎
目前廣泛使用的是MyISAM和InnoDB兩種引擎:
MyISAM
MyISAM引擎是MySQL 5.1及之前版本的默認(rèn)引擎,它的特點(diǎn)是:
不支持行鎖,讀取時(shí)對(duì)需要讀到的所有表加鎖,寫入時(shí)則對(duì)表加排它鎖 不支持事務(wù) 不支持外鍵 不支持崩潰后的安全恢復(fù) 在表有讀取查詢的同時(shí),支持往表中插入新紀(jì)錄 支持BLOB和TEXT的前500個(gè)字符索引,支持全文索引 支持延遲更新索引,極大提升寫入性能 對(duì)于不會(huì)進(jìn)行修改的表,支持壓縮表,極大減少磁盤空間占用
InnoDB
InnoDB在MySQL 5.5后成為默認(rèn)索引,它的特點(diǎn)是
支持行鎖,采用MVCC來支持高并發(fā) 支持事務(wù) 支持外鍵 支持崩潰后的安全恢復(fù) 不支持全文索引
總體來講,MyISAM適合SELECT密集型的表,而InnoDB適合INSERT和UPDATE密集型的表。
2.sql的編寫需要注意優(yōu)化
使用limit對(duì)查詢結(jié)果的記錄進(jìn)行限定 避免select *,將需要查找的字段列出來 使用連接(join)來代替子查詢 拆分大的delete或insert語句 可通過開啟慢查詢?nèi)罩緛碚页鲚^慢的SQL 不做列運(yùn)算:SELECT id WHERE age + 1 = 10,任何對(duì)列的操作都將導(dǎo)致表掃描,它包括數(shù)據(jù)庫教程函數(shù)、計(jì)算表達(dá)式等等,查詢時(shí)要盡可能將操作移至等號(hào)右邊 sql語句盡可能簡單:一條sql只能在一個(gè)cpu運(yùn)算;大語句拆小語句,減少鎖時(shí)間;一條大sql可以堵死整個(gè)庫 OR改寫成IN:OR的效率是n級(jí)別,IN的效率是log(n)級(jí)別,in的個(gè)數(shù)建議控制在200以內(nèi) 不用函數(shù)和觸發(fā)器,在應(yīng)用程序?qū)崿F(xiàn) 避免%xxx式查詢 少用JOIN 使用同類型進(jìn)行比較,比如用'123'和'123'比,123和123比 盡量避免在WHERE子句中使用!=或<>操作符,否則將引擎放棄使用索引而進(jìn)行全表掃描 對(duì)于連續(xù)數(shù)值,使用BETWEEN不用IN:SELECT id FROM t WHERE num BETWEEN 1 AND 5 列表數(shù)據(jù)不要拿全表,要使用LIMIT來分頁,每頁數(shù)量也不要太大
3.分區(qū)
MySQL在5.1版引入的分區(qū)是一種簡單的水平拆分,用戶需要在建表的時(shí)候加上分區(qū)參數(shù),對(duì)應(yīng)用是透明的無需修改代碼
對(duì)用戶來說,分區(qū)表是一個(gè)獨(dú)立的邏輯表,但是底層由多個(gè)物理子表組成,實(shí)現(xiàn)分區(qū)的代碼實(shí)際上是通過對(duì)一組底層表的對(duì)象封裝,但對(duì)SQL層來說是一個(gè)完全封裝底層的黑盒子。MySQL實(shí)現(xiàn)分區(qū)的方式也意味著索引也是按照分區(qū)的子表定義,沒有全局索引
用戶的SQL語句是需要針對(duì)分區(qū)表做優(yōu)化,SQL條件中要帶上分區(qū)條件的列,從而使查詢定位到少量的分區(qū)上,否則就會(huì)掃描全部分區(qū),可以通過EXPLAIN PARTITIONS來查看某條SQL語句會(huì)落在那些分區(qū)上,從而進(jìn)行SQL優(yōu)化,我測試,查詢時(shí)不帶分區(qū)條件的列,也會(huì)提高速度,故該措施值得一試。
分區(qū)的好處是:
可以讓單表存儲(chǔ)更多的數(shù)據(jù) 分區(qū)表的數(shù)據(jù)更容易維護(hù),可以通過清楚整個(gè)分區(qū)批量刪除大量數(shù)據(jù),也可以增加新的分區(qū)來支持新插入的數(shù)據(jù)。另外,還可以對(duì)一個(gè)獨(dú)立分區(qū)進(jìn)行優(yōu)化、檢查、修復(fù)等操作 部分查詢能夠從查詢條件確定只落在少數(shù)分區(qū)上,速度會(huì)很快 分區(qū)表的數(shù)據(jù)還可以分布在不同的物理設(shè)備上,從而搞笑利用多個(gè)硬件設(shè)備 可以使用分區(qū)表賴避免某些特殊瓶頸,例如InnoDB單個(gè)索引的互斥訪問、ext3文件系統(tǒng)的inode鎖競爭 可以備份和恢復(fù)單個(gè)分區(qū)
分區(qū)的限制和缺點(diǎn):
一個(gè)表最多只能有1024個(gè)分區(qū) 如果分區(qū)字段中有主鍵或者唯一索引的列,那么所有主鍵列和唯一索引列都必須包含進(jìn)來 分區(qū)表無法使用外鍵約束 NULL值會(huì)使分區(qū)過濾無效 所有分區(qū)必須使用相同的存儲(chǔ)引擎
分區(qū)的類型:
我首先根據(jù)月份把上網(wǎng)記錄表RANGE分區(qū)了12份,查詢效率提高6倍左右,效果不明顯,故:換id為HASH分區(qū),分了64個(gè)分區(qū),查詢速度提升顯著。問題解決!
結(jié)果如下:PARTITION BY HASH (id)PARTITIONS 64
select count() from readroom_website; --11901336行記錄
/ 受影響行數(shù): 0 已找到記錄: 1 警告: 0 持續(xù)時(shí)間 1 查詢: 5.734 sec. /
select * from readroom_website where month(accesstime) =11 limit 10;
/ 受影響行數(shù): 0 已找到記錄: 10 警告: 0 持續(xù)時(shí)間 1 查詢: 0.719 sec. */
4.分表
分表就是把一張大表,按照如上過程都優(yōu)化了,還是查詢卡死,那就把這個(gè)表分成多張表,把一次查詢分成多次查詢,然后把結(jié)果組合返回給用戶。
分表分為垂直拆分和水平拆分,通常以某個(gè)字段做拆分項(xiàng)。比如以id字段拆分為100張表: 表名為 tableName_id%100
但:分表需要修改源程序代碼,會(huì)給開發(fā)帶來大量工作,極大的增加了開發(fā)成本,故:只適合在開發(fā)初期就考慮到了大量數(shù)據(jù)存在,做好了分表處理,不適合應(yīng)用上線了再做修改,成本太高?。?!
5.分庫
把一個(gè)數(shù)據(jù)庫分成多個(gè),建議做個(gè)讀寫分離就行了,真正的做分庫也會(huì)帶來大量的開發(fā)成本,得不償失!不推薦使用。
到此這篇關(guān)于MySQL千萬級(jí)數(shù)據(jù)的大表優(yōu)化解決方案的文章就介紹到這了,更多相關(guān)MySQL大表優(yōu)化方案內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
- MySQL數(shù)據(jù)庫查詢性能優(yōu)化的4個(gè)技巧干貨
- MySQL查詢性能優(yōu)化七種方式索引潛水
- MySQL select count(*)計(jì)數(shù)很慢優(yōu)化方案
- MySQL 原理與優(yōu)化之Update 優(yōu)化
- MySQL JOIN關(guān)聯(lián)查詢的原理及優(yōu)化
- MySQL查詢緩存優(yōu)化示例詳析
- MySQL關(guān)聯(lián)查詢優(yōu)化實(shí)現(xiàn)方法詳解
- 5招帶你輕松優(yōu)化MySQL count(*)查詢性能
- mysql優(yōu)化之慢查詢分析+explain命令分析+優(yōu)化技巧總結(jié)
- MySQL數(shù)據(jù)庫的索引原理與慢SQL優(yōu)化的5大原則
相關(guān)文章
使用dreamhost空間實(shí)現(xiàn)MYSQL數(shù)據(jù)庫備份方法
使用dreamhost空間實(shí)現(xiàn)MYSQL數(shù)據(jù)庫備份方法...2007-07-07mysql建表常用sql語句個(gè)人經(jīng)驗(yàn)分享
熟悉一些常用的建表語句可以提升你建表的速度效率,本文整理了一些,個(gè)人感覺還不錯(cuò),希望對(duì)大家有所幫助2014-01-01騰訊面試:一條SQL語句執(zhí)行得很慢的原因有哪些?---不看后悔系列(推薦)
這篇文章主要介紹了SQL語句執(zhí)行慢的原因,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04