如何用分表存儲來提高性能 推薦
首先,童家旺介紹了他認為的什么是優(yōu)化:第一、做任何事情最快的方法就是什么也不做。
▲支付寶資深數(shù)據(jù)庫架構師童家旺
第二、不訪問不必要的數(shù)據(jù):使用B*Tree/hash等方法定位必要的數(shù)據(jù)。使用column Store或分表的方式將數(shù)據(jù)分開存儲。使用Bloom filter算法排除空值查詢。
第三、合理的利用硬件來提升訪問效率:使用緩存消除對數(shù)據(jù)的重復訪問。使用批量處理來減少磁盤的Seek操作。使用批量處理來減少網絡的Round Trip。使用SSD來提升磁盤訪問效率。
響應時間和吞吐量之間的關系
1、性能。衡量完成特定任務的速度或效率。
2、響應時間。衡量系統(tǒng)與用戶交互式多久能夠發(fā)出響應。
3、吞吐量。衡量系統(tǒng)在單位時間里可以完成的任務量。
▲反應時間
▲傳統(tǒng)磁盤的訪問特性
B*Tree優(yōu)化數(shù)據(jù)訪問介紹
▲B*Tree優(yōu)化數(shù)據(jù)訪問
B*Tree優(yōu)化數(shù)據(jù)訪問模擬場景
▲B*Tree優(yōu)化數(shù)據(jù)訪問模擬場景
童家旺通過阿里巴巴的真實應用場景介紹了如何用分表存儲來提高性能。
一、場景介紹:
1、表VeryBigTable含有30個列
2、表的記錄數(shù)為50,000,000條
3、平均每個用戶為300條左右
4、其中有2個列屬于詳細描述字段,平均長度為2k
5、其它的列的總長度平均為250個字節(jié)
6、此表上的查詢有兩種模式
7、列出表中的主要信息(每次20條,不包含詳細信息,90%的查詢)
8、查看記錄的詳細信息(10%的查詢)
9、保存與Oracle數(shù)據(jù)庫,默認block_size(8k)
二、要求:
1、對此業(yè)務進行優(yōu)化
2、分析數(shù)據(jù),說服開發(fā)部門實施此優(yōu)化
三、性能分析
1、每塊記錄數(shù)
8192 * 0.80(1) / 250 = 25.5 (主表)
8192 * 0.80 / 2000 = 3.27(詳情表)
8192 * 0.80 / ( 2000 + 250 ) = 2.91
2、訪問的邏輯IO(內存塊訪問)
List的查詢代價
改進后=( 300/25.5 ) * y + 4 + x = 4 + x + 11.8y = 4(2) + 7(3) + 11.8 * 1.5(4) = 28.7
改進前=( 300/2.91 ) * y + 4 + x = 4 + x + 103.y = 4 + 7 + 103 * 1.5 = 165.5
3、訪問涉及到的物理讀(磁盤塊訪問)
List的查詢代價(邏輯IO * ( 1 – 命中率 ))
改進后=28.7 * ( 1 – 0.85(5)) = 4.305
改進前=165.5 * ( 1 – 0.85 ) = 24.825
4、訪問時間(ms)
改進前=邏輯IO時間+物理IO時間= 28.7 * 0.01(6) + 4.305 * 7(7) = 30.422ms
改進后=邏輯IO時間+物理IO時間= 165.5 * 0.01 + 24.825 * 7 = 175.43ms
相關文章
如何在一個千萬級的數(shù)據(jù)庫查詢中提高查詢的效率?
今天小編就為大家分享一篇關于如何在一個千萬級的數(shù)據(jù)庫查詢中提高查詢的效率?,小編覺得內容挺不錯的,現(xiàn)在分享給大家,具有很好的參考價值,需要的朋友一起跟隨小編來看看吧2019-03-03SQL之left join、right join、inner join的區(qū)別淺析
這篇文章主要介紹了SQL之left join、right join、inner join的區(qū)別淺析,本文講解了它們的區(qū)別并給出了實例,需要的朋友可以參考下2015-02-02干掉Navicat,這個數(shù)據(jù)庫管理工具真香
這篇文章主要介紹了干掉Navicat,這個數(shù)據(jù)庫管理工具真香,本文詳細的介紹DataGrip的具體使用方法和實現(xiàn),需要的朋友們下面隨著小編來一起學習學習吧2020-10-10遠程數(shù)據(jù)庫的表超過20個索引的影響詳細解析
這篇文章主要介紹了遠程數(shù)據(jù)庫的表超過20個索引的影響詳細解析,具有一定參考價值,需要的朋友可以了解下。2017-10-10關于若干數(shù)據(jù)庫數(shù)據(jù)插入性能的對比分析
前幾天,苦惱于到底使用哪一種本地數(shù)據(jù)庫來存儲部分數(shù)據(jù),于是決定做一個數(shù)據(jù)插入測試進行求證2011-10-10