數(shù)據(jù)庫表分割技術淺析(水平分割/垂直分割/庫表散列)
更新時間:2013年01月25日 15:50:13 作者:
數(shù)據(jù)庫表分割技術包含以下內(nèi)容:水平分割/垂直分割/庫表散列.接下來將對以上分割進行詳細介紹,感興趣的朋友可以了解下,對你日后維護數(shù)據(jù)庫是很有幫助的
一.水平分割
什么是水平分割?打個比較形象的比喻,在食堂吃飯的時候,只有一個窗口,排隊打飯的隊伍太長了,都排成S型了,這時容易讓排隊的人產(chǎn)生焦慮情緒,容易產(chǎn)生混亂,這時一個管理者站出來,增加多個打飯窗口,把那條長長的隊伍攔腰截斷成幾隊。更形象一點的理解,你拿一把“手術刀”,把一個大表猛的切了幾刀,結果這個大表,變成了幾個小表.
水平分割根據(jù)某些條件將數(shù)據(jù)放到兩個或多個獨立的表中。即按記錄進分分割,不同的記錄可以分開保存,每個子表的列數(shù)相同。水平切割將表分為多個表。每個表包含的列數(shù)相同,但是數(shù)據(jù)行更少。例如,可以將一個包含十億行的表水平分區(qū)成 12 個表,每個小表表示特定年份內(nèi)一個月的數(shù)據(jù)。任何需要特定月份數(shù)據(jù)的查詢只需引用相應月份的表。
通常用來水平分割表的條件有:日期時間維度、地區(qū)維度等,當然還有更多的業(yè)務維度。下面我舉幾個例子來解說一下
案例1:某個公司銷售記錄數(shù)據(jù)量太大了,我們可以對它按月進行水平分割,每個月的銷售記錄單獨成一張表。
案例2:某個集團在各個地區(qū)都有分公司,該集團的訂單數(shù)據(jù)表太大了,我們可以按分公司所在的地區(qū)進行水平切割。
案例3:某電信公司的話單按日期、地市水平切割后,發(fā)現(xiàn)數(shù)據(jù)量太大,然后他們又按品牌、號碼段進行水平切割
水平分割通常在下面的情況下使用:
?。?)表數(shù)據(jù)量很大,分割后可以降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
(2)表中的數(shù)據(jù)本來就有獨立性,例如表中分別記錄各個地區(qū)的數(shù)據(jù)或不同時期的數(shù)據(jù),特別是有些數(shù)據(jù)常用,而另外一些數(shù)據(jù)不常用。
?。?)需要把數(shù)據(jù)存放到多個介質(zhì)上。
?。?)需要把歷史數(shù)據(jù)和當前的數(shù)據(jù)拆分開。
優(yōu)點:
1:降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
缺點:
1:水平分割會給應用增加復雜度,它通常在查詢時需要多個表名,查詢所有數(shù)據(jù)需要union操作。在許多數(shù)據(jù)庫應用中,這種復雜性會超過它帶來的優(yōu)點,因為只要索引關鍵字不大,則在索引用于查詢時,表中增加兩到三倍數(shù)據(jù)量,查詢時也就增加讀一個索引層的磁盤次數(shù)。
二.垂直分割
什么是垂直分割呢?打個形象的比喻,一個小公司通過短短幾年發(fā)展變成了一個跨國大企業(yè),以前的部門架構明顯不能滿足現(xiàn)在的業(yè)務發(fā)展,CEO噼里啪啦的把公司分成了財務部、人事部、生產(chǎn)部、銷售部門.....,一下子成立了多個部門,各司其職。這個還算比較形象吧,有木有?呵呵
你垂直分割表(不破壞第三范式),把主碼(主鍵)和一些列放到一個表,然后把主碼(主鍵)和另外的一些列放到另一個表中。將原始表分成多個只包含較少列的表。如果一個表中某些列常用,而另外一些列不常用,則可以采用垂直分割。
優(yōu)點:
1:垂直分割可以使得行數(shù)據(jù)變小,一個數(shù)據(jù)塊(Block)就能存放更多的數(shù)據(jù),在查詢時就會減少I/O次數(shù)(每次查詢時讀取的Block 就少)。
2:垂直分割表可以達到最大化利用Cache的目的。
缺點:
1:表垂直分割后,主碼(主鍵)出現(xiàn)冗余,需要管理冗余列
2:會引起表連接JOIN操作(增加CPU開銷)需要從業(yè)務上規(guī)避
三. 庫表散列
表散列與水平分割相似,但沒有水平分割那樣的明顯分割界限,采用Hash算法把數(shù)據(jù)分散到各個分表中, 這樣IO更加均衡。一般來說,我們會按照業(yè)務或者功能模塊將數(shù)據(jù)庫進行分離,不同的模塊對應不同的數(shù)據(jù)庫或者表,再按照一定的策略對某個頁面或者功能進行更小的數(shù)據(jù)庫散列,比如用戶表,按照用戶ID進行表散列,散列128張表,則應就能夠低成本的提升系統(tǒng)的性能并且有很好的擴展性
什么是水平分割?打個比較形象的比喻,在食堂吃飯的時候,只有一個窗口,排隊打飯的隊伍太長了,都排成S型了,這時容易讓排隊的人產(chǎn)生焦慮情緒,容易產(chǎn)生混亂,這時一個管理者站出來,增加多個打飯窗口,把那條長長的隊伍攔腰截斷成幾隊。更形象一點的理解,你拿一把“手術刀”,把一個大表猛的切了幾刀,結果這個大表,變成了幾個小表.
水平分割根據(jù)某些條件將數(shù)據(jù)放到兩個或多個獨立的表中。即按記錄進分分割,不同的記錄可以分開保存,每個子表的列數(shù)相同。水平切割將表分為多個表。每個表包含的列數(shù)相同,但是數(shù)據(jù)行更少。例如,可以將一個包含十億行的表水平分區(qū)成 12 個表,每個小表表示特定年份內(nèi)一個月的數(shù)據(jù)。任何需要特定月份數(shù)據(jù)的查詢只需引用相應月份的表。
通常用來水平分割表的條件有:日期時間維度、地區(qū)維度等,當然還有更多的業(yè)務維度。下面我舉幾個例子來解說一下
案例1:某個公司銷售記錄數(shù)據(jù)量太大了,我們可以對它按月進行水平分割,每個月的銷售記錄單獨成一張表。
案例2:某個集團在各個地區(qū)都有分公司,該集團的訂單數(shù)據(jù)表太大了,我們可以按分公司所在的地區(qū)進行水平切割。
案例3:某電信公司的話單按日期、地市水平切割后,發(fā)現(xiàn)數(shù)據(jù)量太大,然后他們又按品牌、號碼段進行水平切割
水平分割通常在下面的情況下使用:
?。?)表數(shù)據(jù)量很大,分割后可以降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
(2)表中的數(shù)據(jù)本來就有獨立性,例如表中分別記錄各個地區(qū)的數(shù)據(jù)或不同時期的數(shù)據(jù),特別是有些數(shù)據(jù)常用,而另外一些數(shù)據(jù)不常用。
?。?)需要把數(shù)據(jù)存放到多個介質(zhì)上。
?。?)需要把歷史數(shù)據(jù)和當前的數(shù)據(jù)拆分開。
優(yōu)點:
1:降低在查詢時需要讀的數(shù)據(jù)和索引的頁數(shù),同時也降低了索引的層數(shù),加快了查詢速度。
缺點:
1:水平分割會給應用增加復雜度,它通常在查詢時需要多個表名,查詢所有數(shù)據(jù)需要union操作。在許多數(shù)據(jù)庫應用中,這種復雜性會超過它帶來的優(yōu)點,因為只要索引關鍵字不大,則在索引用于查詢時,表中增加兩到三倍數(shù)據(jù)量,查詢時也就增加讀一個索引層的磁盤次數(shù)。
二.垂直分割
什么是垂直分割呢?打個形象的比喻,一個小公司通過短短幾年發(fā)展變成了一個跨國大企業(yè),以前的部門架構明顯不能滿足現(xiàn)在的業(yè)務發(fā)展,CEO噼里啪啦的把公司分成了財務部、人事部、生產(chǎn)部、銷售部門.....,一下子成立了多個部門,各司其職。這個還算比較形象吧,有木有?呵呵
你垂直分割表(不破壞第三范式),把主碼(主鍵)和一些列放到一個表,然后把主碼(主鍵)和另外的一些列放到另一個表中。將原始表分成多個只包含較少列的表。如果一個表中某些列常用,而另外一些列不常用,則可以采用垂直分割。
優(yōu)點:
1:垂直分割可以使得行數(shù)據(jù)變小,一個數(shù)據(jù)塊(Block)就能存放更多的數(shù)據(jù),在查詢時就會減少I/O次數(shù)(每次查詢時讀取的Block 就少)。
2:垂直分割表可以達到最大化利用Cache的目的。
缺點:
1:表垂直分割后,主碼(主鍵)出現(xiàn)冗余,需要管理冗余列
2:會引起表連接JOIN操作(增加CPU開銷)需要從業(yè)務上規(guī)避
三. 庫表散列
表散列與水平分割相似,但沒有水平分割那樣的明顯分割界限,采用Hash算法把數(shù)據(jù)分散到各個分表中, 這樣IO更加均衡。一般來說,我們會按照業(yè)務或者功能模塊將數(shù)據(jù)庫進行分離,不同的模塊對應不同的數(shù)據(jù)庫或者表,再按照一定的策略對某個頁面或者功能進行更小的數(shù)據(jù)庫散列,比如用戶表,按照用戶ID進行表散列,散列128張表,則應就能夠低成本的提升系統(tǒng)的性能并且有很好的擴展性
相關文章
oracle 函數(shù)判斷字符串是否包含圖片格式的實例代碼
本文通過實例代碼給大家介紹了oracle 函數(shù)判斷字符串是否包含圖片格式的相關資料,需要的朋友可以參考下2017-07-07Orcale 數(shù)據(jù)庫客戶端PL/SQL 中文亂碼的問題解決方法
這篇文章主要介紹了Orcale 數(shù)據(jù)庫客戶端PL/SQL 中文亂碼的問題解決方法,需要的朋友可以參考下2014-05-05Oracle數(shù)據(jù)塊實現(xiàn)原理深入解讀
Oracle對數(shù)據(jù)庫數(shù)據(jù)文件(datafile)中的存儲空間進行管理的單位是數(shù)據(jù)塊(data block),本文將詳細介紹2012-11-11Oracle Connect to Idle Instance解決方法
本文將介紹Oracle如何解決Connect to Idle Instance問題,需要了解的朋友可以參考下2012-11-11ORACLE分區(qū)表轉(zhuǎn)換在線重定義DBMS_REDEFINITION
這篇文章主要為大家介紹了ORACLE分區(qū)表轉(zhuǎn)換在線重定義DBMS_REDEFINITION表,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-07-07