欧美bbbwbbbw肥妇,免费乱码人妻系列日韩,一级黄片

MySQL分區(qū)表和分桶表的操作詳解

 更新時間:2023年05月11日 11:59:26   作者:菠蘿橡皮刀  
這篇文章主要介紹了MySQL分區(qū)表和分桶表的操作,分區(qū)表和分桶表都是數(shù)據(jù)庫中的表,用于對數(shù)據(jù)進行分區(qū)或分桶存儲,以提高數(shù)據(jù)庫的性能和查詢效率,需要詳細了解可以參考下文

1.創(chuàng)建分區(qū)表

create table dept_partition(
    deptno int,
    dname string,
    loc int
)
partitioned by (dt string)  // 分區(qū)字段(date)
row format delimited fields terminated by '\t';

2.增刪改查操作

2.1 插入數(shù)據(jù)

1)導入本地數(shù)據(jù)

-- 創(chuàng)建一個名字為dt='2022-06-14'的文件夾,在其中導入數(shù)據(jù)
load data local inpath '/opt/module/hive/datas/dept.txt' 
into table dept_partition 
partition(dt='2022-06-14'); 

分區(qū)表就是先創(chuàng)建文件夾,然后在文件夾中寫入數(shù)據(jù)

換句話說,分區(qū)表就是將一張大表分成若干個文件夾進行管理

2)插入數(shù)據(jù)

insert overwrite table dept_partition partition(dt='2022-06-17')
select deptno, dname, loc from dept;
insert overwrite table dept_partition
select deptno, dname, loc, '2022-06-18' from dept;

2.2 操作數(shù)據(jù)

1)查看分區(qū)數(shù)

show partitions dept_partition;

2)查詢指定分區(qū)

select * from dept_partition where dt='2022-06-14';

3)增加/刪除分區(qū)

alter table dept_partition add partition(dt='2022-06-19');
alter table dept_partition drop partition(dt='2022-06-19');

ps.也可以直接在liunx端輸入命令增加分區(qū)

-- 將18號分區(qū)復制一份,命名為13號分區(qū)
hadoop fs -cp /user/hive/warehouse/dept_partition/dt=2022-06-18 
/user/hive/warehouse/dept_partition/dt=2022-06-13

ps..如果直接在網(wǎng)頁端新建文件夾,終端不會顯示新建的分區(qū),必須修復

msck repair table dept_partition;

3. 二級分區(qū)表

就是大文件夾套小文件夾

3.1 創(chuàng)建分區(qū)表

create table dept_partition2(
    deptno int,
    dname string,
    loc int
)
partitioned by (month string, day string)  // month為父目錄,day為子目錄
row format delimited fields terminated by '\t';

3.2 插入數(shù)據(jù)

load data local inpath '/opt/module/hive/datas/dept.txt' 
into table dept_partition2 partition(month='2022-06', day='15');
insert into dept_partition2 partition(month='2022-06',day='15')
select deptno, dname, loc from dept;

4.動態(tài)分區(qū)

普通數(shù)據(jù)無法直接轉(zhuǎn)化為分區(qū)表,只能先新建新的分區(qū)表,再將舊數(shù)據(jù)插入這個新的分區(qū)表

1)創(chuàng)建分區(qū)表

create table emp_par(
    empno int,
    ename string,
    job string,
    salary decimal(16,2)
) partitioned by (deptno int)
row format delimited fields terminated by '\t';

2)然后將數(shù)據(jù)插入這張分區(qū)表

方式一:一個分區(qū)一個分區(qū)的插入

insert into emp_par partition(deptno=10)
select empno,ename,job,sal from emp where deptno=10;  //然后是11,12...

方式二:動態(tài)分區(qū)一次搞定

insert overwrite table emp_par   // 不用指定分區(qū)
select empno,ename,job,sal,deptno from emp;  //直接把deptno寫到這里

5.分桶表

核心語句:

clustered by (a) sorted by (b) into 4 buckets //按照a分了4個桶,桶內(nèi)按照b排序

5.1 新建分桶表

create table stu_buck(
    id int,
    name string
)
clustered by (id) sorted by (id) into 4 buckets  //根據(jù)id的hash值按4取模
row format delimited fields terminated by '\t';

查看

select * from stu_buk

可以發(fā)現(xiàn)分成了四個區(qū)

ps.分桶的意義:在取數(shù)的時候可以直接數(shù)據(jù)定位所在的桶,然后方便遍歷,查詢更高效

5.2 插入數(shù)據(jù)

load data inpath '/datas/student.txt' into table stu_buck;

ps.不能用本地模式,必須用hdfs模式

insert overwrite table stu_buck
select id,name from stu_ex;

5.3 既分區(qū)有分桶

create table stu_par_buck(
    id int,
    name string
)
partitioned by (dt string)  // 先創(chuàng)建文件夾
clustered by (id) sorted by (id desc) into 4 buckets  //然后內(nèi)部分桶
row format delimited fields terminated by '\t';

插入數(shù)據(jù):

與普通的一樣

insert into stu_par_buck
select id, name, '2022-06-14' from stu_ex;

6 分區(qū)與分桶的區(qū)別

主鍵適合拿來分桶,而普通的列適合拿來分區(qū)(一般為日期)

分桶是文件,分區(qū)是文件夾

到此這篇關于MySQL分區(qū)表和分桶表的操作詳解的文章就介紹到這了,更多相關MySQL分區(qū)表和分桶表內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

  • mysql分組排序如何取第一條數(shù)據(jù)

    mysql分組排序如何取第一條數(shù)據(jù)

    這篇文章主要介紹了mysql分組排序如何取第一條數(shù)據(jù)問題,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2023-07-07
  • Linux系統(tǒng)MySQL8.0.19快速安裝配置教程圖解

    Linux系統(tǒng)MySQL8.0.19快速安裝配置教程圖解

    這篇文章主要介紹了Linux系統(tǒng)MySQL8.0.19快速安裝配置教程,本文通過圖文并茂的形式給大家介紹的非常詳細,具有一定的參考借鑒價值,需要的朋友可以參考下
    2020-02-02
  • MySQL百萬級數(shù)據(jù)分頁查詢優(yōu)化方案

    MySQL百萬級數(shù)據(jù)分頁查詢優(yōu)化方案

    在mysql中l(wèi)imit可以實現(xiàn)快速分頁,但是如果數(shù)據(jù)到了幾百萬時我們的limit必須優(yōu)化才能有效的合理的實現(xiàn)分頁了,否則可能卡死你的服務器哦。
    2017-11-11
  • MySQL利用AES_ENCRYPT()與AES_DECRYPT()加解密的正確方法示例

    MySQL利用AES_ENCRYPT()與AES_DECRYPT()加解密的正確方法示例

    MySQL中AES_ENCRYPT('密碼','鑰匙')函數(shù)可以對字段值做加密處理,AES_DECRYPT(表的字段名字,'鑰匙')函數(shù)解密處理,下面這篇文章主要給大家介紹了關于MySQL利用AES_ENCRYPT()與AES_DECRYPT()加解密的正確方法,文中給出了詳細的示例代碼,需要的朋友可以參考下。
    2017-08-08
  • MySQL binlog 遠程備份方法詳解

    MySQL binlog 遠程備份方法詳解

    以前備份binlog時,都是先在本地進行備份壓縮,然后發(fā)送到遠程服務器中,但是這種備份方式非常的不安全,下面通過本文給大家介紹MySQL binlog 遠程備份的方法,需要的朋友一起學習吧
    2016-05-05
  • MySQL Count函數(shù)使用教程

    MySQL Count函數(shù)使用教程

    這篇文章主要介紹了MySQL Count函數(shù),COUNT()是一個聚合函數(shù),返回指定匹配條件的行數(shù)。開發(fā)中常用來統(tǒng)計表中數(shù)據(jù),全部數(shù)據(jù),不為NULL數(shù)據(jù),或者去重數(shù)據(jù)
    2022-12-12
  • Centos7下使用yum安裝mysql數(shù)據(jù)庫的詳細教程(增強版)

    Centos7下使用yum安裝mysql數(shù)據(jù)庫的詳細教程(增強版)

    這篇文章主要介紹了Centos7下使用yum安裝mysql數(shù)據(jù)庫的詳細教程(增強版),非常不錯,具有參考借鑒價值,需要的朋友可以參考下
    2016-12-12
  • MySQL性能瓶頸排查定位實例詳解

    MySQL性能瓶頸排查定位實例詳解

    這篇文章主要介紹了MySQL性能瓶頸排查定位的方法,結(jié)合實例形式詳細分析了MySQL排查性能瓶頸問題的步驟與相關技巧,需要的朋友可以參考下
    2016-04-04
  • MySQL登錄、訪問及退出操作實戰(zhàn)指南

    MySQL登錄、訪問及退出操作實戰(zhàn)指南

    當我們要使用mysql時,一定要了解mysql的登錄、訪問及退出,下面這篇文章主要給大家介紹了關于MySQL登錄、訪問及退出操作的相關資料,文中通過示例代碼介紹的非常詳細,需要的朋友可以參考下
    2022-10-10
  • 在Debian 9系統(tǒng)上安裝Mysql數(shù)據(jù)庫的方法教程

    在Debian 9系統(tǒng)上安裝Mysql數(shù)據(jù)庫的方法教程

    這篇文章主要給大家介紹了在Debian 9系統(tǒng)上安裝Mysql數(shù)據(jù)庫的方法教程,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧。
    2017-10-10

最新評論