mysql分區(qū)功能詳解,以及實(shí)例分析
一,什么是數(shù)據(jù)庫(kù)分區(qū)
前段時(shí)間寫過(guò)一篇關(guān)于mysql分表的 的文章,下面來(lái)說(shuō)一下什么是數(shù)據(jù)庫(kù)分區(qū),以mysql為例。mysql數(shù)據(jù)庫(kù)中的數(shù)據(jù)是以文件的形勢(shì)存在磁盤上的,默認(rèn)放在/mysql/data下面 (可以通過(guò)my.cnf中的datadir來(lái)查看),一張表主要對(duì)應(yīng)著三個(gè)文件,一個(gè)是frm存放表結(jié)構(gòu)的,一個(gè)是myd存放表數(shù)據(jù)的,一個(gè)是myi存表 索引的。如果一張表的數(shù)據(jù)量太大的話,那么myd,myi就會(huì)變的很大,查找數(shù)據(jù)就會(huì)變的很慢,這個(gè)時(shí)候我們可以利用mysql的分區(qū)功能,在物理上將這 一張表對(duì)應(yīng)的三個(gè)文件,分割成許多個(gè)小塊,這樣呢,我們查找一條數(shù)據(jù)時(shí),就不用全部查找了,只要知道這條數(shù)據(jù)在哪一塊,然后在那一塊找就行了。如果表的數(shù) 據(jù)太大,可能一個(gè)磁盤放不下,這個(gè)時(shí)候,我們可以把數(shù)據(jù)分配到不同的磁盤里面去。
分區(qū)的二種方式
1,橫向分區(qū)
什么是橫向分區(qū)呢?就是橫著來(lái)分區(qū)了,舉例來(lái)說(shuō)明一下,假如有100W條數(shù)據(jù),分成十份,前10W條數(shù)據(jù)放到第一個(gè)分區(qū),第二個(gè)10W條數(shù)據(jù)放到第二個(gè)分區(qū),依此類推。也就是把表分成了十分,根用merge來(lái)分表,有點(diǎn)像哦。取出一條數(shù)據(jù)的時(shí)候,這條數(shù)據(jù)包含了表結(jié)構(gòu)中的所有字段,也就是說(shuō)橫向分區(qū),并沒(méi)有改變表的結(jié)構(gòu)。
2,縱向分區(qū)
什么是縱向分區(qū)呢?就是豎來(lái)分區(qū)了,舉例來(lái)說(shuō)明,在設(shè)計(jì)用戶表的時(shí)候,開(kāi)始的時(shí)候沒(méi)有考慮好,而把個(gè)人的所有信息都放到了一張表里面去,這樣這個(gè)表里面就會(huì)有比較大的字段,如個(gè)人簡(jiǎn)介,而這些簡(jiǎn)介呢,也許不會(huì)有好多人去看,所以等到有人要看的時(shí)候,在去查找,分表的時(shí)候,可以把這樣的大字段,分開(kāi)來(lái)。
感覺(jué)數(shù)據(jù)庫(kù)的分區(qū)好像是切蘋果,到底是橫著切呢,還是豎著切,根據(jù)個(gè)人喜好了,mysql提供的分區(qū)屬于第一種,橫向分區(qū),并且細(xì)分成很多種方式。下面將舉例說(shuō)明一下。
二,mysql的分區(qū)
我覺(jué)著吧,mysql的分區(qū)只有一種方式,只不過(guò)運(yùn)用不同的算法,規(guī)則將數(shù)據(jù)分配到不同的區(qū)塊中而已。
1,mysql5.1及以上支持分區(qū)功能
安裝安裝的時(shí)候,我們就可以查看一下
[root@BlackGhost mysql-5.1.50]# ./configure --help |grep -A 3 Partition === Partition Support === Plugin Name: partition Description: MySQL Partitioning Support Supports build: static Configurations: max, max-no-ndb
查看一下,如果發(fā)現(xiàn)有上面這個(gè)東西,說(shuō)明他是支持分區(qū)的,默認(rèn)是打開(kāi)的。如果你已經(jīng)安裝過(guò)了mysql的話
mysql> show variables like "%part%"; +-------------------+-------+ | Variable_name | Value | +-------------------+-------+ | have_partitioning | YES | +-------------------+-------+ 1 row in set (0.00 sec)
查看一下變量,如果支持的話,會(huì)有上面的提示的。
2,range分區(qū)
按照RANGE分區(qū)的表是通過(guò)如下一種方式進(jìn)行分區(qū)的,每個(gè)分區(qū)包含那些分區(qū)表達(dá)式的值位于一個(gè)給定的連續(xù)區(qū)間內(nèi)的行
//創(chuàng)建range分區(qū)表 mysql> CREATE TABLE IF NOT EXISTS `user` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0為男,1為女', -> PRIMARY KEY (`id`) -> ) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY RANGE (id) ( -> PARTITION p0 VALUES LESS THAN (3), -> PARTITION p1 VALUES LESS THAN (6), -> PARTITION p2 VALUES LESS THAN (9), -> PARTITION p3 VALUES LESS THAN (12), -> PARTITION p4 VALUES LESS THAN MAXVALUE -> ); Query OK, 0 rows affected (0.13 sec) //插入一些數(shù)據(jù) mysql> INSERT INTO `test`.`user` (`name` ,`sex`)VALUES ('tank', '0') -> ,('zhang',1),('ying',1),('張',1),('映',0),('test1',1),('tank2',1) -> ,('tank1',1),('test2',1),('test3',1),('test4',1),('test5',1),('tank3',1) -> ,('tank4',1),('tank5',1),('tank6',1),('tank7',1),('tank8',1),('tank9',1) -> ,('tank10',1),('tank11',1),('tank12',1),('tank13',1),('tank21',1),('tank42',1); Query OK, 25 rows affected (0.05 sec) Records: 25 Duplicates: 0 Warnings: 0 //到存放數(shù)據(jù)庫(kù)表文件的地方看一下,my.cnf里面有配置,datadir后面就是 [root@BlackGhost test]# ls |grep user |xargs du -sh 4.0K user#P#p0.MYD 4.0K user#P#p0.MYI 4.0K user#P#p1.MYD 4.0K user#P#p1.MYI 4.0K user#P#p2.MYD 4.0K user#P#p2.MYI 4.0K user#P#p3.MYD 4.0K user#P#p3.MYI 4.0K user#P#p4.MYD 4.0K user#P#p4.MYI 12K user.frm 4.0K user.par //取出數(shù)據(jù) mysql> select count(id) as count from user; +-------+ | count | +-------+ | 25 | +-------+ 1 row in set (0.00 sec) //刪除第四個(gè)分區(qū) mysql> alter table user drop partition p4; Query OK, 0 rows affected (0.11 sec) Records: 0 Duplicates: 0 Warnings: 0 /**存放在分區(qū)里面的數(shù)據(jù)丟失了,第四個(gè)分區(qū)里面有14條數(shù)據(jù),剩下的3個(gè)分區(qū) 只有11條數(shù)據(jù),但是統(tǒng)計(jì)出來(lái)的文件大小都是4.0K,從這兒我們可以看出分區(qū)的 最小區(qū)塊是4K */ mysql> select count(id) as count from user; +-------+ | count | +-------+ | 11 | +-------+ 1 row in set (0.00 sec) //第四個(gè)區(qū)塊已刪除 [root@BlackGhost test]# ls |grep user |xargs du -sh 4.0K user#P#p0.MYD 4.0K user#P#p0.MYI 4.0K user#P#p1.MYD 4.0K user#P#p1.MYI 4.0K user#P#p2.MYD 4.0K user#P#p2.MYI 4.0K user#P#p3.MYD 4.0K user#P#p3.MYI 12K user.frm 4.0K user.par /*可以對(duì)現(xiàn)有表進(jìn)行分區(qū),并且會(huì)按規(guī)則自動(dòng)的將表中的數(shù)據(jù)分配相應(yīng)的分區(qū) 中,這樣就比較好了,可以省去很多事情,看下面的操作*/ mysql> alter table aa partition by RANGE(id) -> (PARTITION p1 VALUES less than (1), -> PARTITION p2 VALUES less than (5), -> PARTITION p3 VALUES less than MAXVALUE); Query OK, 15 rows affected (0.21 sec) //對(duì)15數(shù)據(jù)進(jìn)行分區(qū) Records: 15 Duplicates: 0 Warnings: 0 //總共有15條 mysql> select count(*) from aa; +----------+ | count(*) | +----------+ | 15 | +----------+ 1 row in set (0.00 sec) //刪除一個(gè)分區(qū) mysql> alter table aa drop partition p2; Query OK, 0 rows affected (0.30 sec) Records: 0 Duplicates: 0 Warnings: 0 //只有11條了,說(shuō)明對(duì)現(xiàn)有的表分區(qū)成功了 mysql> select count(*) from aa; +----------+ | count(*) | +----------+ | 11 | +----------+ 1 row in set (0.00 sec)
3,list分區(qū)
LIST分區(qū)中每個(gè)分區(qū)的定義和選擇是基于某列的值從屬于一個(gè)值列表集中的一個(gè)值,而RANGE分 區(qū)是從屬于一個(gè)連續(xù)區(qū)間值的集合。
//這種方式失敗 mysql> CREATE TABLE IF NOT EXISTS `list_part` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '用戶ID', -> `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0為男,1為女', -> PRIMARY KEY (`id`) -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY LIST (province_id) ( -> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8), -> PARTITION p1 VALUES IN (9,10,11,12,16,21), -> PARTITION p2 VALUES IN (13,14,15,19), -> PARTITION p3 VALUES IN (17,18,20,22,23,24) -> ); ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function //這種方式成功 mysql> CREATE TABLE IF NOT EXISTS `list_part` ( -> `id` int(11) NOT NULL COMMENT '用戶ID', -> `province_id` int(2) NOT NULL DEFAULT 0 COMMENT '省', -> `name` varchar(50) NOT NULL DEFAULT '' COMMENT '名稱', -> `sex` int(1) NOT NULL DEFAULT '0' COMMENT '0為男,1為女' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY LIST (province_id) ( -> PARTITION p0 VALUES IN (1,2,3,4,5,6,7,8), -> PARTITION p1 VALUES IN (9,10,11,12,16,21), -> PARTITION p2 VALUES IN (13,14,15,19), -> PARTITION p3 VALUES IN (17,18,20,22,23,24) -> ); Query OK, 0 rows affected (0.33 sec)
上面的這個(gè)創(chuàng)建list分區(qū)時(shí),如果有主銉的話,分區(qū)時(shí)主鍵必須在其中,不然就會(huì)報(bào)錯(cuò)。如果我不用主鍵,分區(qū)就創(chuàng)建成功了,一般情況下,一個(gè)張表肯定會(huì)有一個(gè)主鍵,這算是一個(gè)分區(qū)的局限性吧。
如果對(duì)數(shù)據(jù)進(jìn)行測(cè)試,請(qǐng)參考range分區(qū)的測(cè)試來(lái)操作
4,hash分區(qū)
HASH分區(qū)主要用來(lái)確保數(shù)據(jù)在預(yù)先確定數(shù)目的分區(qū)中平均分布,你所要做的只是基于將要被哈希的列值指定一個(gè)列值或表達(dá)式,以 及指定被分區(qū)的表將要被分割成的分區(qū)數(shù)量。
mysql> CREATE TABLE IF NOT EXISTS `hash_part` ( -> `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '評(píng)論ID', -> `comment` varchar(1000) NOT NULL DEFAULT '' COMMENT '評(píng)論', -> `ip` varchar(25) NOT NULL DEFAULT '' COMMENT '來(lái)源IP', -> PRIMARY KEY (`id`) -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 AUTO_INCREMENT=1 -> PARTITION BY HASH(id) -> PARTITIONS 3; Query OK, 0 rows affected (0.06 sec)
測(cè)試請(qǐng)參考range分區(qū)的操作
5,key分區(qū)
按照KEY進(jìn)行分區(qū)類似于按照HASH分區(qū),除了HASH分區(qū)使用的用 戶定義的表達(dá)式,而KEY分區(qū)的 哈希函數(shù)是由MySQL 服務(wù)器提供。
mysql> CREATE TABLE IF NOT EXISTS `key_part` ( -> `news_id` int(11) NOT NULL COMMENT '新聞ID', -> `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內(nèi)容', -> `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來(lái)源IP', -> `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時(shí)間' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY LINEAR HASH(YEAR(create_time)) -> PARTITIONS 3; Query OK, 0 rows affected (0.07 sec)
測(cè)試請(qǐng)參考range分區(qū)的操作
6,子分區(qū)
子分區(qū)是分區(qū)表中每個(gè)分區(qū)的再次分割,子分區(qū)既可以使用HASH希分區(qū),也可以使用KEY分區(qū)。這 也被稱為復(fù)合分區(qū)(composite partitioning)。
1,如果一個(gè)分區(qū)中創(chuàng)建了子分區(qū),其他分區(qū)也要有子分區(qū)
2,如果創(chuàng)建了了分區(qū),每個(gè)分區(qū)中的子分區(qū)數(shù)必有相同
3,同一分區(qū)內(nèi)的子分區(qū),名字不相同,不同分區(qū)內(nèi)的子分區(qū)名子可以相同(5.1.50不適用)
mysql> CREATE TABLE IF NOT EXISTS `sub_part` ( -> `news_id` int(11) NOT NULL COMMENT '新聞ID', -> `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內(nèi)容', -> `u_id` int(11) NOT NULL DEFAULT 0s COMMENT '來(lái)源IP', -> `create_time` DATE NOT NULL DEFAULT '0000-00-00 00:00:00' COMMENT '時(shí)間' -> ) ENGINE=INNODB DEFAULT CHARSET=utf8 -> PARTITION BY RANGE(YEAR(create_time)) -> SUBPARTITION BY HASH(TO_DAYS(create_time))( -> PARTITION p0 VALUES LESS THAN (1990)(SUBPARTITION s0,SUBPARTITION s1,SUBPARTITION s2), -> PARTITION p1 VALUES LESS THAN (2000)(SUBPARTITION s3,SUBPARTITION s4,SUBPARTITION good), -> PARTITION p2 VALUES LESS THAN MAXVALUE(SUBPARTITION tank0,SUBPARTITION tank1,SUBPARTITION tank3) -> ); Query OK, 0 rows affected (0.07 sec)
官方網(wǎng)站說(shuō)不同分區(qū)內(nèi)的子分區(qū)可以有相同的名字,但是mysql5.1.50卻不行會(huì)提示以下錯(cuò)誤
ERROR 1517 (HY000): Duplicate partition name s1
三,分區(qū)管理
1,刪除分區(qū)
1.mysql> alter table user drop partition p4;
2,新增分區(qū)
//range添加新分區(qū) mysql> alter table user add partition(partition p4 values less than MAXVALUE); Query OK, 0 rows affected (0.06 sec) Records: 0 Duplicates: 0 Warnings: 0 //list添加新分區(qū) mysql> alter table list_part add partition(partition p4 values in (25,26,28)); Query OK, 0 rows affected (0.01 sec) Records: 0 Duplicates: 0 Warnings: 0 //hash重新分區(qū) mysql> alter table hash_part add partition partitions 4; Query OK, 0 rows affected (0.12 sec) Records: 0 Duplicates: 0 Warnings: 0 //key重新分區(qū) mysql> alter table key_part add partition partitions 4; Query OK, 1 row affected (0.06 sec) //有數(shù)據(jù)也會(huì)被重新分配 Records: 1 Duplicates: 0 Warnings: 0 //子分區(qū)添加新分區(qū),雖然我沒(méi)有指定子分區(qū),但是系統(tǒng)會(huì)給子分區(qū)命名的 mysql> alter table sub1_part add partition(partition p3 values less than MAXVALUE); Query OK, 0 rows affected (0.02 sec) Records: 0 Duplicates: 0 Warnings: 0 mysql> show create table sub1_part\G; *************************** 1. row *************************** Table: sub1_part Create Table: CREATE TABLE `sub1_part` ( `news_id` int(11) NOT NULL COMMENT '新聞ID', `content` varchar(1000) NOT NULL DEFAULT '' COMMENT '新聞內(nèi)容', `u_id` varchar(25) NOT NULL DEFAULT '' COMMENT '來(lái)源IP', `create_time` date NOT NULL DEFAULT '0000-00-00' COMMENT '時(shí)間' ) ENGINE=InnoDB DEFAULT CHARSET=utf8 !50100 PARTITION BY RANGE (YEAR(create_time)) SUBPARTITION BY HASH (TO_DAYS(create_time)) (PARTITION p0 VALUES LESS THAN (1990) (SUBPARTITION s0 ENGINE = InnoDB, SUBPARTITION s1 ENGINE = InnoDB, SUBPARTITION s2 ENGINE = InnoDB), PARTITION p1 VALUES LESS THAN (2000) (SUBPARTITION s3 ENGINE = InnoDB, SUBPARTITION s4 ENGINE = InnoDB, SUBPARTITION good ENGINE = InnoDB), PARTITION p2 VALUES LESS THAN (3000) (SUBPARTITION tank0 ENGINE = InnoDB, SUBPARTITION tank1 ENGINE = InnoDB, SUBPARTITION tank3 ENGINE = InnoDB), PARTITION p3 VALUES LESS THAN MAXVALUE (SUBPARTITION p3sp0 ENGINE = InnoDB, //子分區(qū)的名子是自動(dòng)生成的 SUBPARTITION p3sp1 ENGINE = InnoDB, SUBPARTITION p3sp2 ENGINE = InnoDB)) 1 row in set (0.00 sec)
3,重新分區(qū)
//range重新分區(qū) mysql> ALTER TABLE user REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES LESS THAN MAXVALUE); Query OK, 11 rows affected (0.08 sec) Records: 11 Duplicates: 0 Warnings: 0 //list重新分區(qū) mysql> ALTER TABLE list_part REORGANIZE PARTITION p0,p1,p2,p3,p4 INTO (PARTITION p0 VALUES in (1,2,3,4,5)); Query OK, 0 rows affected (0.28 sec) Records: 0 Duplicates: 0 Warnings: 0 //hash和key分區(qū)不能用REORGANIZE,官方網(wǎng)站說(shuō)的很清楚 mysql> ALTER TABLE key_part REORGANIZE PARTITION COALESCE PARTITION 9; ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'PARTITION 9' at line 1
四,分區(qū)優(yōu)點(diǎn)
1,分區(qū)可以分在多個(gè)磁盤,存儲(chǔ)更大一點(diǎn)
2,根據(jù)查找條件,也就是where后面的條件,查找只查找相應(yīng)的分區(qū)不用全部查找了
3,進(jìn)行大數(shù)據(jù)搜索時(shí)可以進(jìn)行并行處理。
4,跨多個(gè)磁盤來(lái)分散數(shù)據(jù)查詢,來(lái)獲得更大的查詢吞吐量
以上這篇mysql分區(qū)功能詳解,以及實(shí)例分析就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
mysql為字段添加和刪除唯一性索引(unique) 的方法
下面小編就為大家?guī)?lái)一篇mysql為字段添加和刪除唯一性索引(unique) 的方法。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-03-03MySQL8新特性之降序索引底層實(shí)現(xiàn)詳解
這篇文章主要介紹了MySQL8新特性之降序索引底層實(shí)現(xiàn)詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05mysql設(shè)置遠(yuǎn)程訪問(wèn)數(shù)據(jù)庫(kù)的多種方法
最近有一同學(xué)問(wèn)我MySQL無(wú)法遠(yuǎn)程訪問(wèn)怎么呢,但能使用localhost來(lái)進(jìn)行方法,下面腳本之家來(lái)給各位介紹一下解決辦法,需要的朋友可以參考下2013-10-10MySQL刪除數(shù)據(jù)Delete與Truncate語(yǔ)句使用比較
在MySQL數(shù)據(jù)庫(kù)中,DELETE語(yǔ)句和TRUNCATE TABLE語(yǔ)句都可以用來(lái)刪除數(shù)據(jù),但是這兩種語(yǔ)句還是有著其區(qū)別的,下文就為您介紹這二者的差別所在2012-09-09MySQL數(shù)據(jù)庫(kù)多表聯(lián)合查詢代碼示例
所謂聯(lián)合就是把多個(gè)表的記錄往一起合并,一起進(jìn)行查詢,也叫多表查詢,這篇文章主要給大家介紹了關(guān)于MySQL數(shù)據(jù)庫(kù)多表聯(lián)合查詢的相關(guān)資料,需要的朋友可以參考下2024-01-01MySQL 格式化時(shí)間的實(shí)現(xiàn)示例
MySQL提供了多種日期和時(shí)間類型,在處理時(shí)間時(shí)需要根據(jù)不同類型選擇不同的格式化方法,常用的日期類型有DATE、YEAR、TIME;常用的日期時(shí)間類型有DATETIME和TIMESTAMP,本文就來(lái)介紹一下MySQL 格式化時(shí)間,感興趣的可以了解一下2023-10-10